إرسال Robleurt لمهمة مقاييس WMT2021

في هذه الورقة، نقدم طلبنا إلى مهمة المقاييس المشتركة: Robleurt (تحسين تدريب Bleurt).بعد التحقيق في التطورات الأخيرة المتمثلة في المقاييس التدريبية التدريبية، نستنتج عدة جوانب ذات أهمية حيوية للحصول على نموذج متري أداء جيدا من قبل: 1) الاستفادة المشتركة مزايا النموذج المشترك بين المصدر والنموذج المرجعي فقط، 2) ما قبل التدريب المستمرنموذج مع أزواج البيانات الاصطناعية الضخمة، و 3) ضبط النموذج مع استراتيجية تنظيف البيانات.تظهر النتائج التجريبية أن نموذجنا يصل إلى ارتباطات حديثة مع التعليقات البشرية البشرية WMT2020 عند 8 من أزواج لغة 10 إلى الإنجليزية.

In this paper, we present our submission to Shared Metrics Task: RoBLEURT (Robustly Optimizing the training of BLEURT). After investigating the recent advances of trainable metrics, we conclude several aspects of vital importance to obtain a well-performed metric model by: 1) jointly leveraging the advantages of source-included model and reference-only model, 2) continuously pre-training the model with massive synthetic data pairs, and 3) fine-tuning the model with data denoising strategy. Experimental results show that our model reaching state-of-the-art correlations with the WMT2020 human annotations upon 8 out of 10 to-English language pairs.