التعامل مع مفارقة تقدير الجودة

في تقدير الجودة (QE)، يمكن التنبؤ بجودة الترجمة بالرجوع إلى الجملة المصدر وإخراج الترجمة الآلية (MT) دون الوصول إلى الجملة المرجعية. ومع ذلك، هناك مفارقة في أن بناء مجموعة بيانات لإنشاء نموذج QE يتطلب عمالة إنسانية غير تافهة ووقت، وقد يتطلب جهدا إضافيا مقارنة بتكلفة بناء كائن موازي. في هذه الدراسة، لمعالجة هذه المفارقة واستخدام تطبيقات QE المختلفة، حتى في لغات الموارد المنخفضة (LRLS)، نقترح طريقة لإنشاء مجموعة بيانات Pseudo-QE الخاصة دون استخدام العمل البشري. نقوم بإجراء تحليل مقارن على مجموعة بيانات الزائفة QE باستخدام نماذج لغة متعددة اللغات مسبقا. نظرا لأننا نولد مجموعة بيانات الزائفة، فإننا نقوم بإجراء تجارب باستخدام مختلف المترجمين الأجهزة الخارجية كمجموعات اختبار للتحقق من دقة النتائج بموضوعية. أيضا، تظهر النتائج التجريبية أن البارت المتعدد اللغات يوضح أفضل أداء، ونؤكد تطبيق QE في LRLS باستخدام طرق البناء Pseudo-QE DataSet.

In quality estimation (QE), the quality of translation can be predicted by referencing the source sentence and the machine translation (MT) output without access to the reference sentence. However, there exists a paradox in that constructing a dataset for creating a QE model requires non-trivial human labor and time, and it may even requires additional effort compared to the cost of constructing a parallel corpus. In this study, to address this paradox and utilize the various applications of QE, even in low-resource languages (LRLs), we propose a method for automatically constructing a pseudo-QE dataset without using human labor. We perform a comparative analysis on the pseudo-QE dataset using multilingual pre-trained language models. As we generate the pseudo dataset, we conduct experiments using various external machine translators as test sets to verify the accuracy of the results objectively. Also, the experimental results show that multilingual BART demonstrates the best performance, and we confirm the applicability of QE in LRLs using pseudo-QE dataset construction methods.