في هذه الورقة، نصف نظام ملكة جمالنا الذي شارك في مهمة ترجمة WMT21 الأخبار. شاركنا بشكل رئيسي في تقييم اتجاهات الترجمة الثلاثة لمهام الترجمة الإنجليزية واليابانية والإنجليزية. في النظم المقدمة، تعتبر في المقام الأول شبكات أوسع، وشبكات أعمق، والترميز الموضعي النسبي، والشبكات التنافعية الديناميكية من حيث هيكل النماذج، في حين أننا من حيث التدريب، حققنا في تكييف المجال المعزز للتناقض في التعلم، والتدريب والإشراف على الذات، والتحسين طرق التدريب التبديل الموضوعية. وفقا لنتائج التقييم النهائي، يمكن لشبكة أعمق وأوسع وأقوى تحسين أداء الترجمة بشكل عام، ومع ذلك يمكن أن تحسن طريقة توطين نطاق البيانات لدينا الأداء أكثر. بالإضافة إلى ذلك، وجدنا أن التبديل إلى استخدام هدفنا المقترح خلال المرحلة الفائقة باستخدام البيانات الصغيرة المرتبطة بالنطاق نسبيا يمكن أن يحسن بشكل فعال من استقرار تقارب النموذج وتحقيق الأداء الأمثل بشكل أفضل.
In this paper, we describe our MiSS system that participated in the WMT21 news translation task. We mainly participated in the evaluation of the three translation directions of English-Chinese and Japanese-English translation tasks. In the systems submitted, we primarily considered wider networks, deeper networks, relative positional encoding, and dynamic convolutional networks in terms of model structure, while in terms of training, we investigated contrastive learning-reinforced domain adaptation, self-supervised training, and optimization objective switching training methods. According to the final evaluation results, a deeper, wider, and stronger network can improve translation performance in general, yet our data domain adaption method can improve performance even more. In addition, we found that switching to the use of our proposed objective during the finetune phase using relatively small domain-related data can effectively improve the stability of the model's convergence and achieve better optimal performance.
References used
https://aclanthology.org/
This paper describes the Global Tone Communication Co., Ltd.'s submission of the WMT21 shared news translation task. We participate in six directions: English to/from Hausa, Hindi to/from Bengali and Zulu to/from Xhosa. Our submitted systems are unco
In this paper, we present a novel approachfor domain adaptation in Neural MachineTranslation which aims to improve thetranslation quality over a new domain.Adapting new domains is a highly challeng-ing task for Neural Machine Translation onlimited da
This paper considers the unsupervised domain adaptation problem for neural machine translation (NMT), where we assume the access to only monolingual text in either the source or target language in the new domain. We propose a cross-lingual data selec
We study the problem of domain adaptation in Neural Machine Translation (NMT) when domain-specific data cannot be shared due to confidentiality or copyright issues. As a first step, we propose to fragment data into phrase pairs and use a random sampl
Production NMT systems typically need to serve niche domains that are not covered by adequately large and readily available parallel corpora. As a result, practitioners often fine-tune general purpose models to each of the domains their organisation