تصف هذه الورقة مشاركة فريق BSC في ترجمة الموارد المنخفضة لغات WMT2021 للمهمة المشتركة بين اللغات الهندية الأوروبية.يهدف النظام إلى حل التتبع الفرعي 2: مقالات التراث الثقافي ويكيبيديا، والتي تنطوي على الترجمة في أربع لغات رومانسية: الكاتالونية والإيطالية والوكر والرومانية.النظام المقدم هو نموذج الترجمة شبه الإشراف متعدد اللغات.إنه يستند إلى نموذج لغة مدرب مسبقا، وهما XLM-Roberta، وهو ما يتم ضبطه في وقت لاحق مع البيانات الموازية التي تم الحصول عليها في الغالب من OPUS.على عكس الأعمال الأخرى، نستخدم XLM فقط لتهيئة التشفير والتهيئة بشكل عشوائي فك تشفير ضحلة.النتائج المبلغ عنها قوية وأداء جيدا لجميع اللغات التي تم اختبارها.