ملكة جمال @ WMT21: تكيف مجال التعلم المعزز بالتعلم في الترجمة الآلية العصبية

في هذه الورقة، نصف نظام ملكة جمالنا الذي شارك في مهمة ترجمة WMT21 الأخبار. شاركنا بشكل رئيسي في تقييم اتجاهات الترجمة الثلاثة لمهام الترجمة الإنجليزية واليابانية والإنجليزية. في النظم المقدمة، تعتبر في المقام الأول شبكات أوسع، وشبكات أعمق، والترميز الموضعي النسبي، والشبكات التنافعية الديناميكية من حيث هيكل النماذج، في حين أننا من حيث التدريب، حققنا في تكييف المجال المعزز للتناقض في التعلم، والتدريب والإشراف على الذات، والتحسين طرق التدريب التبديل الموضوعية. وفقا لنتائج التقييم النهائي، يمكن لشبكة أعمق وأوسع وأقوى تحسين أداء الترجمة بشكل عام، ومع ذلك يمكن أن تحسن طريقة توطين نطاق البيانات لدينا الأداء أكثر. بالإضافة إلى ذلك، وجدنا أن التبديل إلى استخدام هدفنا المقترح خلال المرحلة الفائقة باستخدام البيانات الصغيرة المرتبطة بالنطاق نسبيا يمكن أن يحسن بشكل فعال من استقرار تقارب النموذج وتحقيق الأداء الأمثل بشكل أفضل.

In this paper, we describe our MiSS system that participated in the WMT21 news translation task. We mainly participated in the evaluation of the three translation directions of English-Chinese and Japanese-English translation tasks. In the systems submitted, we primarily considered wider networks, deeper networks, relative positional encoding, and dynamic convolutional networks in terms of model structure, while in terms of training, we investigated contrastive learning-reinforced domain adaptation, self-supervised training, and optimization objective switching training methods. According to the final evaluation results, a deeper, wider, and stronger network can improve translation performance in general, yet our data domain adaption method can improve performance even more. In addition, we found that switching to the use of our proposed objective during the finetune phase using relatively small domain-related data can effectively improve the stability of the model's convergence and achieve better optimal performance.