نظام ترجمة خطاب الكلام متعدد اللغات بجامعة ماستريخت ل IWSLT 2021

تصف هذه الورقة مشاركة جامعة ماستريخت في مسار الترجمة متعددة اللغات في IWSLT 2021.المهمة في هذه المسار هي بناء أنظمة ترجمة خطاب متعددة اللغات في اتجاهات تحت إشراف ومطلة الصفر.نظامنا الأساسي هو نموذج نهاية إلى نهاية يؤدي إلى نسخ الكلام والترجمة.نلاحظ أن التدريب المشترك للمهامتين مكملتين خاصة عندما تكون بيانات ترجمة الكلام نادرة.على المصدر والجانب المستهدف، نستخدم تكبير البيانات والملصقات الزائفة على التوالي لتحسين أداء أنظمتنا.نقدم أيضا تقنية كفرية تعمل باستمرار على تحسين جودة النسخ والترجمات.تظهر التجارب أن النظام المنتهي تنافسية مع نظيره المتتالي وخاصة في ظروف الطلقة الصفرية.

This paper describes Maastricht University's participation in the IWSLT 2021 multilingual speech translation track. The task in this track is to build multilingual speech translation systems in supervised and zero-shot directions. Our primary system is an end-to-end model that performs both speech transcription and translation. We observe that the joint training for the two tasks is complementary especially when the speech translation data is scarce. On the source and target side, we use data augmentation and pseudo-labels respectively to improve the performance of our systems. We also introduce an ensembling technique that consistently improves the quality of transcriptions and translations. The experiments show that the end-to-end system is competitive with its cascaded counterpart especially in zero-shot conditions.