توضح هذه الورقة تقديم NetMarble إلى مهمة مشاركة WMT21 التلقائية بعد التحرير (القرد) لزوج اللغة الإنجليزية الألمانية. أولا، نقترح استراتيجية تدريب المناهج الدراسية في مراحل التدريب. تم اختيار نموذج الترجمة من WMT19 Face Facebook لإشراك الشبكات العصبية الكبيرة والقوية المدربة مسبقا. ثم، نقوم بتنفيذ نموذج الترجمة بمستويات مختلفة من البيانات في كل مراحل تدريبية. مع استمرار مراحل التدريب، نجعل النظام يتعلم حل مهام متعددة عن طريق إضافة معلومات إضافية في مراحل التدريب المختلفة تدريجيا. نعرض أيضا طريقة لاستخدام البيانات الإضافية في حجم كبير لمهام القرد. لمزيد من التحسين، نطبق استراتيجية التعلم متعددة المهام مع متوسط الوزن الديناميكي خلال مرحلة ضبط الدقيقة. لضبط Corpus القرد مع بيانات محدودة، نضيف بعض المهام الفرعية ذات الصلة لتعلم تمثيل موحد. أخيرا، للحصول على أداء أفضل، نستفيد الترجمات الخارجية كترجمة آلية ازدهار (MT) أثناء التدريب على ما بعد التدريب والضبط. كما تظهر النتائج التجريبية، يعمل نظام القرد لدينا بشكل كبير على تحسين ترجمات نتائج MT المقدمة بنسبة -2.848 و +3.74 على مجموعة بيانات التطوير من حيث TER و Bleu، على التوالي. كما يوضح فعاليته في مجموعة بيانات الاختبار بجودة أعلى من مجموعة بيانات التطوير.
This paper describes Netmarble's submission to WMT21 Automatic Post-Editing (APE) Shared Task for the English-German language pair. First, we propose a Curriculum Training Strategy in training stages. Facebook Fair's WMT19 news translation model was chosen to engage the large and powerful pre-trained neural networks. Then, we post-train the translation model with different levels of data at each training stages. As the training stages go on, we make the system learn to solve multiple tasks by adding extra information at different training stages gradually. We also show a way to utilize the additional data in large volume for APE tasks. For further improvement, we apply Multi-Task Learning Strategy with the Dynamic Weight Average during the fine-tuning stage. To fine-tune the APE corpus with limited data, we add some related subtasks to learn a unified representation. Finally, for better performance, we leverage external translations as augmented machine translation (MT) during the post-training and fine-tuning. As experimental results show, our APE system significantly improves the translations of provided MT results by -2.848 and +3.74 on the development dataset in terms of TER and BLEU, respectively. It also demonstrates its effectiveness on the test dataset with higher quality than the development dataset.
References used
https://aclanthology.org/
Accurate translation requires document-level information, which is ignored by sentence-level machine translation. Recent work has demonstrated that document-level consistency can be improved with automatic post-editing (APE) using only target-languag
This paper describes the Tencent AI Lab submission of the WMT2021 shared task on biomedical translation in eight language directions: English-German, English-French, English-Spanish and English-Russian. We utilized different Transformer architectures
This paper describes Papago submission to the WMT 2021 Quality Estimation Task 1: Sentence-level Direct Assessment. Our multilingual Quality Estimation system explores the combination of Pretrained Language Models and Multi-task Learning architecture
This paper presents the JHU-Microsoft joint submission for WMT 2021 quality estimation shared task. We only participate in Task 2 (post-editing effort estimation) of the shared task, focusing on the target-side word-level quality estimation. The tech
This paper presents Imperial College London's submissions to the WMT21 Quality Estimation (QE) Shared Task 3: Critical Error Detection. Our approach builds on cross-lingual pre-trained representations in a sequence classification model. We further im