نقل التعلم مع وحدة فك التشفير الضحلة: BSC في الترجمة ذات الموارد المنخفضة لغات WMT2021 للمهمة المشتركة لغات الهند الأوروبية

تصف هذه الورقة مشاركة فريق BSC في ترجمة الموارد المنخفضة لغات WMT2021 للمهمة المشتركة بين اللغات الهندية الأوروبية.يهدف النظام إلى حل التتبع الفرعي 2: مقالات التراث الثقافي ويكيبيديا، والتي تنطوي على الترجمة في أربع لغات رومانسية: الكاتالونية والإيطالية والوكر والرومانية.النظام المقدم هو نموذج الترجمة شبه الإشراف متعدد اللغات.إنه يستند إلى نموذج لغة مدرب مسبقا، وهما XLM-Roberta، وهو ما يتم ضبطه في وقت لاحق مع البيانات الموازية التي تم الحصول عليها في الغالب من OPUS.على عكس الأعمال الأخرى، نستخدم XLM فقط لتهيئة التشفير والتهيئة بشكل عشوائي فك تشفير ضحلة.النتائج المبلغ عنها قوية وأداء جيدا لجميع اللغات التي تم اختبارها.

This paper describes the participation of the BSC team in the WMT2021's Multilingual Low-Resource Translation for Indo-European Languages Shared Task. The system aims to solve the Subtask 2: Wikipedia cultural heritage articles, which involves translation in four Romance languages: Catalan, Italian, Occitan and Romanian. The submitted system is a multilingual semi-supervised machine translation model. It is based on a pre-trained language model, namely XLM-RoBERTa, that is later fine-tuned with parallel data obtained mostly from OPUS. Unlike other works, we only use XLM to initialize the encoder and randomly initialize a shallow decoder. The reported results are robust and perform well for all tested languages.