التقييم اللغوي لنظم الترجمة الآلية بحسم 2021 للألمانية إلى الإنجليزية والإنجليزية إلى الألمانية

نحن نستخدم مجموعة اختبار شبه آلية من أجل توفير تقييم لغوي محمول من أجل أنظمة الترجمة الآلية الحديثة. يشمل التقييم 18 الألمانية إلى الإنجليزية و 18 الإنجليزية إلى الألمانية، قدمت إلى مهمة مشتركة للترجمة بمؤتمر 2021 حول الترجمة الآلية. يضيف تقديمنا إلى إعدادات السنوات السابقة عن طريق إنشاء وتطبيق جناح اختبار واسع النطاق للغة الإنجليزية إلى الألمانية كزوج لغة جديدة. يسمح التقييم الراسخ في اكتشاف اختلافات كبيرة بين الأنظمة التي لا يمكن تمييزها من خلال التقييم المباشر لحملة التقييم البشرية. نجد أن معظم الأنظمة تحقق عقوبة جيدة في غالبية الظواهر اللغوية ولكن هناك عدد قليل من الظواهر مع دقة منخفضة، مثل التعابير، والمطبقة مشروط والمسندات الألمانية الناتجة. نظمتين تتمتعان بدقة اختبار أفضل بكثير في المتوسط ​​في المتوسط ​​الكلي في كل اتجاه لغة، عبر الإنترنت-W و Facebook-AI للألمانية إلى الإنجليزية والمرافقين وبرنامج Volctrans وعلى الإنترنت-W للإنجليزية إلى الألمانية. تظهر الأنظمة تحسنا مطردا مقارنة بالسنوات السابقة.

We are using a semi-automated test suite in order to provide a fine-grained linguistic evaluation for state-of-the-art machine translation systems. The evaluation includes 18 German to English and 18 English to German systems, submitted to the Translation Shared Task of the 2021 Conference on Machine Translation. Our submission adds up to the submissions of the previous years by creating and applying a wide-range test suite for English to German as a new language pair. The fine-grained evaluation allows spotting significant differences between systems that cannot be distinguished by the direct assessment of the human evaluation campaign. We find that most of the systems achieve good accuracies in the majority of linguistic phenomena but there are few phenomena with lower accuracy, such as the idioms, the modal pluperfect and the German resultative predicates. Two systems have significantly better test suite accuracy in macro-average in every language direction, Online-W and Facebook-AI for German to English and VolcTrans and Online-W for English to German. The systems show a steady improvement as compared to previous years.