هل هناك حاجة مراجع حقا؟GREXABEL-IST 2021 تقديم المهمة المشتركة للمقاييس

في هذه الورقة، نقدم مساهمة مشتركة من المهمة المشتركة ومقاييس WMT 2021.مع تركيز هذا العام على متري الجودة متعددة الأبعاد (MQM) باعتباره التقييم البشري الحقيقة الأرضية، كان هدفنا هو توجيه المذنب نحو الارتباطات الأعلى مع MQM.نحن نقوم بذلك عن طريق التدريب المسبق أولا على التقييمات المباشرة ثم ضبط نتائج MQM تطبيع Z.في تجاربنا، نعرض أيضا أن نماذج المذنب المجانية المرجعية أصبحت تنافسية للنماذج القائمة على المراجع، حتى تتفوق على أفضل نموذج مذنب من عام 2020 في بيانات تطوير هذا العام.بالإضافة إلى ذلك، نقدم Cometinho، وهو نموذج مذنب خفيف الوزن هو 19x أسرع في وحدة المعالجة المركزية من النموذج الأصلي، مع تحقيق الارتباطات الحديثة أيضا مع MQM.أخيرا، في QE كمسار متري، شاركنا أيضا مع نموذج QE المدرب باستخدام إطار OpenKiwi الاستفادة من درجات MQM وشروح مستوى الكلمة.

In this paper, we present the joint contribution of Unbabel and IST to the WMT 2021 Metrics Shared Task. With this year's focus on Multidimensional Quality Metric (MQM) as the ground-truth human assessment, our aim was to steer COMET towards higher correlations with MQM. We do so by first pre-training on Direct Assessments and then fine-tuning on z-normalized MQM scores. In our experiments we also show that reference-free COMET models are becoming competitive with reference-based models, even outperforming the best COMET model from 2020 on this year's development data. Additionally, we present COMETinho, a lightweight COMET model that is 19x faster on CPU than the original model, while also achieving state-of-the-art correlations with MQM. Finally, in the QE as a metric'' track, we also participated with a QE model trained using the OpenKiwi framework leveraging MQM scores and word-level annotations.