فهم تأثير خصوصيات UGC على جودة الترجمة

يأخذ هذا العمل إلقاء نظرة حاسمة على تقييم الترجمة التلقائية التي أنشأها المستخدم، والخصائص المعروفة منها رفع العديد من التحديات الخاصة ب MT.تظهر التحليلات لدينا أن قياس الأداء المتوسط للحالة باستخدام متري قياسي على مجموعة اختبار UGC يسقط أقل بكثير من إعطاء صورة موثوقة لجودة الترجمة UGC.هذا هو السبب في أننا نقدم بيانات جديدة تم تعيينها لتقييم ترجمة UGC التي تم فيها تفاح خصوصي خصوصية UGC يدويا باستخدام مصمامة غرامة الحبيبات.باستخدام مجموعة البيانات هذه، نقوم بإجراء العديد من التجارب لقياس تأثير أنواع مختلفة من خصوصيات UGC بجودة الترجمة، أكثر دقة من الممكن في السابق.

This work takes a critical look at the evaluation of user-generated content automatic translation, the well-known specificities of which raise many challenges for MT. Our analyses show that measuring the average-case performance using a standard metric on a UGC test set falls far short of giving a reliable image of the UGC translation quality. That is why we introduce a new data set for the evaluation of UGC translation in which UGC specificities have been manually annotated using a fine-grained typology. Using this data set, we conduct several experiments to measure the impact of different kinds of UGC specificities on translation quality, more precisely than previously possible.