انها ليست جيدة كما تعتقد!تقييم الترجمة الآلية المتزامنة على بيانات التفسير

يتم تدريب معظم أنظمة الترجمة الآلية المتزامنة (SIMT) وتقييمها في Offline Translation Corpora.نحن نقول أن أنظمة SIMT يجب تدريبها واختبارها على بيانات التفسير الحقيقي.لتوضيح هذه الحجة، نقترح مجموعة اختبار التفسير وإجراء تقييم واقعي ل Simt المدربة على الترجمات دون اتصال.نتائجنا، في الاختبار المحدد لدينا مع 3 أزواج لغة صغيرة الحجم الحالية، تسليط الضوء على الفرق من النتيجة حتى 13.83 بلو عند تقييم نماذج Simt على بيانات الترجمة الشفوية للترجمة.في غياب بيانات التدريب على الترجمة الشفوية، نقترح طريقة نقل نمط الترجمة إلى الترجمة إلى الترجمة (T2I) التي تسمح بتحويل الترجمات غير المتصلة حاليا إلى بيانات نمط الترجمة الشفوية، مما يؤدي إلى تحسن ما يصل إلى 2.8 بلو.ومع ذلك، لا تزال فجوة التقييم ملحوظة، ودعا إلى بناء تفسير واسع النطاق مناسبة بشكل أفضل لتقييم وتطوير أنظمة SIMT.

Most existing simultaneous machine translation (SiMT) systems are trained and evaluated on offline translation corpora. We argue that SiMT systems should be trained and tested on real interpretation data. To illustrate this argument, we propose an interpretation test set and conduct a realistic evaluation of SiMT trained on offline translations. Our results, on our test set along with 3 existing smaller scale language pairs, highlight the difference of up-to 13.83 BLEU score when SiMT models are evaluated on translation vs interpretation data. In the absence of interpretation training data, we propose a translation-to-interpretation (T2I) style transfer method which allows converting existing offline translations into interpretation-style data, leading to up-to 2.8 BLEU improvement. However, the evaluation gap remains notable, calling for constructing large-scale interpretation corpora better suited for evaluating and developing SiMT systems.