مشاركة Rakuten في Wat 2021: فحص فعالية النماذج المدربة مسبقا للترجمة متعددة اللغات والمعددية

تقدم هذه الورقة مشاركة أنظمة الترجمة الآلية العصبية في مهام الترجمة المشتركة WAT 2021 (معرف الفريق: ساكورا).شاركنا في (I) NIST-SAP، (2) ترجمة متعددة الوسائط اليابانية-الإنجليزية، (III) متعددة اللغات، و (4) مهام الترجمة الإنجليزية Myanmar-English.مناهج متعددة اللغات مثل MBART (ليو وآخرون.، 2020) قادرون على تدريب ما قبل التدريب على نموذج تسلسل كامل وتسلسل إلى متعدد اللغات من خلال الأهداف المنقحية، مما يجعلها نقطة انطلاق رائعة لبناء أنظمة الترجمة متعددة اللغات.التركيز الرئيسي لدينا في هذا العمل هو التحقيق في فعالية Finetuning متعددة اللغات في نموذج لغة متعددة اللغات على مهام الترجمة المختلفة، بما في ذلك ترجمة الموارد المنخفضة والمتعددة الوسائط والمختلطة.نسمح أيضا نهجا متعدد الوسائط بناء على التمثيل المرئي العالمي (تشانغ وآخرون، 2019) ومقارنة أدائه ضد نهج غير مهني بناء على MBART بمفرده.

This paper introduces our neural machine translation systems' participation in the WAT 2021 shared translation tasks (team ID: sakura). We participated in the (i) NICT-SAP, (ii) Japanese-English multimodal translation, (iii) Multilingual Indic, and (iv) Myanmar-English translation tasks. Multilingual approaches such as mBART (Liu et al., 2020) are capable of pre-training a complete, multilingual sequence-to-sequence model through denoising objectives, making it a great starting point for building multilingual translation systems. Our main focus in this work is to investigate the effectiveness of multilingual finetuning on such a multilingual language model on various translation tasks, including low-resource, multimodal, and mixed-domain translation. We further explore a multimodal approach based on universal visual representation (Zhang et al., 2019) and compare its performance against a unimodal approach based on mBART alone.