في هذه الورقة، نصف نظام ترجمة الكلام متعددة اللغات نهاية إلى نهاية المقدمة إلى حملة تقييم IWSLT 2021 في مهمة مشتركة من خطابات الكلام متعددة اللغات. بنيت نظامنا من خلال الاستفادة من التعلم النقل عبر الطرائق والمهام واللغات. أولا، نحن نستفيد الوحدات متعددة اللغات للأغراض العامة مسببة اللغات مع كميات كبيرة من البيانات غير المسماة والمصدرة. ونحن كذلك تمكين نقل المعرفة من مهمة النص إلى مهمة خطاب من خلال التدريب بمهامتين بالاشتراك. أخيرا، يتم تصوير نموذجنا متعدد اللغات في البيانات الخاصة ببيانات المهام الخاصة بترجمة الكلام لتحقيق أفضل نتائج الترجمة. تظهر النتائج التجريبية أن نظامنا يتفوق على الأنظمة المبلغ عنها، بما في ذلك النهج القائمة على المناسبة والمتوسطة، بتهامش كبير. في بعض اتجاهات الترجمة، تعد نتائج ترجمة الكلام التي تم تقييمها على مجموعة اختبار TEDX متعددة اللغات متعددة اللغات مقارنة مع تلك الموجودة من نظام ترجمة نصية قوية للنص، والذي يستخدم النصوص أوراكل الكلام كإدخال.
In this paper, we describe our end-to-end multilingual speech translation system submitted to the IWSLT 2021 evaluation campaign on the Multilingual Speech Translation shared task. Our system is built by leveraging transfer learning across modalities, tasks and languages. First, we leverage general-purpose multilingual modules pretrained with large amounts of unlabelled and labelled data. We further enable knowledge transfer from the text task to the speech task by training two tasks jointly. Finally, our multilingual model is finetuned on speech translation task-specific data to achieve the best translation results. Experimental results show our system outperforms the reported systems, including both end-to-end and cascaded based approaches, by a large margin. In some translation directions, our speech translation results evaluated on the public Multilingual TEDx test set are even comparable with the ones from a strong text-to-text translation system, which uses the oracle speech transcripts as input.
References used
https://aclanthology.org/
This paper describes Maastricht University's participation in the IWSLT 2021 multilingual speech translation track. The task in this track is to build multilingual speech translation systems in supervised and zero-shot directions. Our primary system
This report describes Microsoft's machine translation systems for the WMT21 shared task on large-scale multilingual machine translation. We participated in all three evaluation tracks including Large Track and two Small Tracks where the former one is
This paper contains the description for the submission of Karlsruhe Institute of Technology (KIT) for the multilingual TEDx translation task in the IWSLT 2021 evaluation campaign. Our main approach is to develop both cascade and end-to-end systems an
In this paper, we describe Zhejiang University's submission to the IWSLT2021 Multilingual Speech Translation Task. This task focuses on speech translation (ST) research across many non-English source languages. Participants can decide whether to work
This paper describes the submission of the NiuTrans end-to-end speech translation system for the IWSLT 2021 offline task, which translates from the English audio to German text directly without intermediate transcription. We use the Transformer-based