نظام ترجمة الكلام Niutrans نهاية إلى نهاية لمهمة IWSLT 2021 غير متصل

توضح هذه الورقة تقديم نظام الترجمة من Niutrans End-tou-end الكلام للمهمة غير المتصلة IWSLT 2021، والتي تترجم من الصوت الإنجليزي إلى النص الألماني مباشرة دون نسخ متوسط.نحن نستخدم الهندسة المعمارية النموذجية القائمة على المحولات وتعزيزها عن طريق مطابقة، ترميز الموضع النسبي، والترميز الصوتية والترميز النصي مكدسة.لزيادة بيانات التدريب، يتم ترجم نسخ اللغة الإنجليزية إلى الترجمات الألمانية.أخيرا، نحن نوظف فك تشفير الفرقة لدمج التنبؤات من عدة نماذج مدربة مع مجموعات البيانات المختلفة.الجمع بين هذه التقنيات، نحقق 33.84 نقطة بلو على مجموعة اختبار EN-DE MUST-C، والتي تظهر الإمكانات الهائلة لنموذج نهاية إلى نهاية.

This paper describes the submission of the NiuTrans end-to-end speech translation system for the IWSLT 2021 offline task, which translates from the English audio to German text directly without intermediate transcription. We use the Transformer-based model architecture and enhance it by Conformer, relative position encoding, and stacked acoustic and textual encoding. To augment the training data, the English transcriptions are translated to German translations. Finally, we employ ensemble decoding to integrate the predictions from several models trained with the different datasets. Combining these techniques, we achieve 33.84 BLEU points on the MuST-C En-De test set, which shows the enormous potential of the end-to-end model.