تقييم آلة الترجمة من غير اليقين

تم اقتراح العديد من المقاييس العصبية مقرا لها مؤخرا لتقييم جودة الترجمة الآلية. ومع ذلك، فإن كل منهم يلجأون إلى تقديرات نقطة، والتي توفر معلومات محدودة في مستوى القطاع. وهذا ما هو أسوأ لأنهم مدربون على الأحكام البشرية الصاخبة والتحازة والصحيحة، وغالبا ما يؤدي إلى تنبؤات عالية الجودة. في هذه الورقة، نقدم تقييم MT على دراية عدم اليقين وتحليل الجدارة بالثقة للجودة المتوقعة. نحن نجمع بين إطار المذنب مع أساليب تقدير عدم اليقين، مونتي كارلو التسرب والكميمات العميقة، للحصول على درجات عالية الجودة إلى جانب فترات الثقة. نحن نقارن أداء أساليب تقييم MT على دراية بعملية عدم اليقين عبر أزواج متعددة اللغات من مجموعة بيانات QT21 ومهمة مقاييس WMT20، المعزز بالشروح MQM. نقوم بتجربة أعداد متفاوتة من المراجع وأكثر مناقشة فائدة تقدير الجودة على علم عدم اليقين (بدون مراجع) لإعلام أخطاء الترجمة الهامة المحتملة.

Several neural-based metrics have been recently proposed to evaluate machine translation quality. However, all of them resort to point estimates, which provide limited information at segment level. This is made worse as they are trained on noisy, biased and scarce human judgements, often resulting in unreliable quality predictions. In this paper, we introduce uncertainty-aware MT evaluation and analyze the trustworthiness of the predicted quality. We combine the COMET framework with two uncertainty estimation methods, Monte Carlo dropout and deep ensembles, to obtain quality scores along with confidence intervals. We compare the performance of our uncertainty-aware MT evaluation methods across multiple language pairs from the QT21 dataset and the WMT20 metrics task, augmented with MQM annotations. We experiment with varying numbers of references and further discuss the usefulness of uncertainty-aware quality estimation (without references) to flag possibly critical translation mistakes.