مشاركة HW-TSC في المهمة المشتركة WMT 2021 الأخبار

تقدم هذه الورقة تقديم مركز خدمات Translate Huawei (HW-TSC) إلى مهمة مشتركة من WMT 2021.نشارك في 7 أزواج لغوية، بما في ذلك ZH / EN، DE / EN، JA / en، HA / EN، هي / EN، HI / BN، و XH / ZU في كلا الاتجاهين تحت الحالة المقيدة.نحن نستخدم بنية المحولات والحصول على أفضل أداء عبر المتغيرات المتعددة بأحجام أكبر معلمة.نحن نقوم بتنفيذ ما قبل المعالجة المفصلة والتصفية على مجموعات بيانات ثنائية اللغة وأنتجة على نطاق واسع.يتم استخدام العديد من الاستراتيجيات الشائعة الاستخدام لتدريب نماذجنا، مثل الترجمة الخلفية، الترجمة الأمامية، الترجمة إلى الأمام، الترجمة متعددة اللغات، تقطير المعرفة الفرعية، إلخ. يحصل تقديمنا نتائج تنافسية في التقييم النهائي.

This paper presents the submission of Huawei Translate Services Center (HW-TSC) to the WMT 2021 News Translation Shared Task. We participate in 7 language pairs, including Zh/En, De/En, Ja/En, Ha/En, Is/En, Hi/Bn, and Xh/Zu in both directions under the constrained condition. We use Transformer architecture and obtain the best performance via multiple variants with larger parameter sizes. We perform detailed pre-processing and filtering on the provided large-scale bilingual and monolingual datasets. Several commonly used strategies are used to train our models, such as Back Translation, Forward Translation, Multilingual Translation, Ensemble Knowledge Distillation, etc. Our submission obtains competitive results in the final evaluation.