Nitt Kyoto إرسال المهمة تقدير الجودة WMT'21: محاكاة متعددة اللغات متعددة اللغات للكشف عن الخطأ الحرج

تقدم هذه الورقة تقديم Nitt Kyoto لتقدير جودة WMT'21 (QE) مهمة الكشف عن المهمة المشتركة (المهمة 3).تعتمد نهجنا بشكل رئيسي على نموذج مكتبة الجودة التي استخدمنا 11 زوجا لغة، وثلاثة منهم على مستوى الجملة وثلاث مقاييس جودة الترجمة على مستوى الكلمات.بدءا من نقطة تفتيش XLM-R، نقوم بتنفيذ التدريب المستمر عن طريق تعديل هدف التعلم، والتبديل من النمذجة اللغوية الملثمين إلى الإشارات الموجهة QE، قبل Finetuning وتمييز النماذج.تظهر النتائج التي تم الحصول عليها في الاختبار من حيث معامل الارتباط و F-Score أن المقاييس التلقائية والبيانات الاصطناعية تؤدي بشكل جيد إلى الاحتجاج، مع تقدم التقديمات لدينا أولا لشخصين من أصل أربعة أزواج لغوية.تشير نظرة أعييقة إلى تأثير كل متري على المهمة المصب إلى أداء أعلى للمقاييس الموجهة للرمز، في حين تؤكد دراسة الاجتثاث عن فائدة إجراء كل من الاحتمالات ذات الإشراف على الذات وكيس.

This paper presents the NICT Kyoto submission for the WMT'21 Quality Estimation (QE) Critical Error Detection shared task (Task 3). Our approach relies mainly on QE model pretraining for which we used 11 language pairs, three sentence-level and three word-level translation quality metrics. Starting from an XLM-R checkpoint, we perform continued training by modifying the learning objective, switching from masked language modeling to QE oriented signals, before finetuning and ensembling the models. Results obtained on the test set in terms of correlation coefficient and F-score show that automatic metrics and synthetic data perform well for pretraining, with our submissions ranked first for two out of four language pairs. A deeper look at the impact of each metric on the downstream task indicates higher performance for token oriented metrics, while an ablation study emphasizes the usefulness of conducting both self-supervised and QE pretraining.