Mteqa في مقاييس WMT21 المهمة المشتركة

في هذه الورقة، نصف إنشادنا إلى المهمة المشتركة بمقاييس WMT 2021.نستخدم الأسئلة والأجوبة التي تم إنشاؤها تلقائيا لتقييم جودة أنظمة الترجمة الآلية (MT).إن تقديمنا يبني على إطار MTEQA المقترح مؤخرا.تظهر التجارب على مجموعات بيانات تقييم WMT20 أنه على مستوى النظام، يحقق Mteqa Metric أداء قابلا للمقارنة مع حلول حديثة أخرى، مع مراعاة كمية معينة فقط من الترجمة بأكملها.

In this paper, we describe our submission to the WMT 2021 Metrics Shared Task. We use the automatically-generated questions and answers to evaluate the quality of Machine Translation (MT) systems. Our submission builds upon the recently proposed MTEQA framework. Experiments on WMT20 evaluation datasets show that at the system-level the MTEQA metric achieves performance comparable with other state-of-the-art solutions, while considering only a certain amount of information from the whole translation.