يعد تقدير الجودة (QE) مكونا هاما لسير عمل الترجمة الآلي لأنه يقيم جودة الإخراج المترجم دون الترجمات المرجعية الاستشارية.في هذه الورقة، نناقش التقديم لدينا إلى المهمة المشتركة WMT 2021 QE.إننا نشارك في المهمة الفرعية الفرعية على مستوى الجملة 2 المهام التي تتحدى المشاركين للتنبؤ بدرجة HTER من أجل جهد التحرير على مستوى الجملة.نظامنا المقترح هو مجموعة من نماذج الانحدار من بيرت (mbert) متعددة اللغات، والتي يتم إنشاؤها بواسطة ضبط صقلها على إعدادات الإدخال المختلفة.يوضح أداء قابلا للمقارنة فيما يتعلق بترابط بيرسون، وتغلب على نظام الأساس في ماي / رموز لعدة أزواج اللغة.بالإضافة إلى ذلك، نقوم بتكييف نظامنا لإعداد اللقطة الصفرية من خلال استغلال أزواج اللغة ذات الصلة بالغة والترجمات المرجعية الزائفة.
Quality Estimation (QE) is an important component of the machine translation workflow as it assesses the quality of the translated output without consulting reference translations. In this paper, we discuss our submission to the WMT 2021 QE Shared Task. We participate in Task 2 sentence-level sub-task that challenge participants to predict the HTER score for sentence-level post-editing effort. Our proposed system is an ensemble of multilingual BERT (mBERT)-based regression models, which are generated by fine-tuning on different input settings. It demonstrates comparable performance with respect to the Pearson's correlation, and beat the baseline system in MAE/ RMSE for several language pairs. In addition, we adapt our system for the zero-shot setting by exploiting target language-relevant language pairs and pseudo-reference translations.
References used
https://aclanthology.org/
This work introduces a simple regressive ensemble for evaluating machine translation quality based on a set of novel and established metrics. We evaluate the ensemble using a correlation to expert-based MQM scores of the WMT 2021 Metrics workshop. In
The paper presents our submission to the WMT2021 Shared Task on Quality Estimation (QE). We participate in sentence-level predictions of human judgments and post-editing effort. We propose a glass-box approach based on attention weights extracted fro
This paper describes Papago submission to the WMT 2021 Quality Estimation Task 1: Sentence-level Direct Assessment. Our multilingual Quality Estimation system explores the combination of Pretrained Language Models and Multi-task Learning architecture
This paper presents the JHU-Microsoft joint submission for WMT 2021 quality estimation shared task. We only participate in Task 2 (post-editing effort estimation) of the shared task, focusing on the target-side word-level quality estimation. The tech
The success of bidirectional encoders using masked language models, such as BERT, on numerous natural language processing tasks has prompted researchers to attempt to incorporate these pre-trained models into neural machine translation (NMT) systems.