نظام الترجمة Tencent لمهمة ترجمة الأخبار WMT21

تصف هذه الورقة أنظمة Tencent Translation ذات المهمة المشتركة WMT21. نشارك في مهمة ترجمة الأخبار على ثلاث أزواج لغة: الصينية-الإنجليزية والإنجليزية والصينية والألمانية والإنجليزية. يتم بناء أنظمتنا على نماذج محولات مختلفة مع تقنيات جديدة تتكيف من عملنا البحثي الأخير. أولا، نجمع بين طرق تكبير البيانات المختلفة بما في ذلك الترجمة المرجودة والترجمة الأمامية والتدريب من اليمين إلى اليسار لتوسيع بيانات التدريب. نستخدم أيضا تحيز التغطية اللغوية وتجديد البيانات ونهج أخذ العينات المستندة إلى عدم اليقين لتحديد بيانات ذات صلة بالمحتوى وعالية الجودة من كوربورا متوازية ومونولجة كبيرة. نتوقع أن يتم ضبطه بشكل جيد في المجال، ونقترح أيضا نماذج واحدة المحبوثة نموذج واحد "" لنموذج خصائص نموذجية لأنواع الأخبار المختلفة عند مراحل الركود الدقيقة وفك التشفير. علاوة على ذلك، نستخدم خوارزمية الفرقة القائمة على الجشع وطريقة الفرقة المتناقلة لتعزيز أنظمتنا. بناء على نجاحنا في آخر WMT، فإننا أعملنا باستمرار تقنيات متقدمة مثل التدريب الدفاعي الكبير واختيار البيانات وتصفية البيانات. أخيرا، يحقق نظامنا الصيني والإنجليزي المقيد 33.4 درجة بلو حساسة للحالة، وهو الأعلى بين جميع التقديمات. يتم تصنيف نظام اللغة الإنجليزية الألمانية في المركز الثاني وفقا لذلك.

This paper describes Tencent Translation systems for the WMT21 shared task. We participate in the news translation task on three language pairs: Chinese-English, English-Chinese and German-English. Our systems are built on various Transformer models with novel techniques adapted from our recent research work. First, we combine different data augmentation methods including back-translation, forward-translation and right-to-left training to enlarge the training data. We also apply language coverage bias, data rejuvenation and uncertainty-based sampling approaches to select content-relevant and high-quality data from large parallel and monolingual corpora. Expect for in-domain fine-tuning, we also propose a fine-grained one model one domain'' approach to model characteristics of different news genres at fine-tuning and decoding stages. Besides, we use greed-based ensemble algorithm and transductive ensemble method to further boost our systems. Based on our success in the last WMT, we continuously employed advanced techniques such as large batch training, data selection and data filtering. Finally, our constrained Chinese-English system achieves 33.4 case-sensitive BLEU score, which is the highest among all submissions. The German-English system is ranked at second place accordingly.