ترجمة خطاب متعدد اللغات مع محول موحد: مختبر شركة Huawei Noah's Ark في IWSLT 2021

تصف هذه الورقة النظام المقدم إلى مهمة ترجمة الكلام متعددة اللغات IWSLT 2021 من مختبر Ark في Huawei Noah.نحن نستخدم بنية محولات موحدة لطرازنا متعدد الأموال، بحيث يمكن استغلال البيانات من الطرائق المختلفة (I.E.على وجه التحديد، تتغذى مدخلات الكلام والنص النصي أولا لمصول ميزة مختلفة لاستخراج الميزات الصوتية والنصية على التوالي.بعد ذلك، تتم معالجة هذه الميزات بواسطة بنية فك تشفير مشتركة.نحن نطبق العديد من تقنيات التدريب لتحسين الأداء، بما في ذلك التعلم متعدد المهام، وتعزيز المناهج الدراسية على مستوى المهام، وتعزيز البيانات، وما إلى ذلك. يحقق نظامنا النهائي نتائج أفضل بكثير من خطوط الأساس ثنائي اللغة على أزواج اللغة الخاضعة للإشراف ونتائج نتائج معقولة على لغة طلقة صفريةأزواج.

This paper describes the system submitted to the IWSLT 2021 Multilingual Speech Translation (MultiST) task from Huawei Noah's Ark Lab. We use a unified transformer architecture for our MultiST model, so that the data from different modalities (i.e., speech and text) and different tasks (i.e., Speech Recognition, Machine Translation, and Speech Translation) can be exploited to enhance the model's ability. Specifically, speech and text inputs are firstly fed to different feature extractors to extract acoustic and textual features, respectively. Then, these features are processed by a shared encoder--decoder architecture. We apply several training techniques to improve the performance, including multi-task learning, task-level curriculum learning, data augmentation, etc. Our final system achieves significantly better results than bilingual baselines on supervised language pairs and yields reasonable results on zero-shot language pairs.