ZJU's IWSLT 2021 نظام ترجمة الكلام

في هذه الورقة، وصفنا تقديم جامعة تشجيانغ إلى مهمة ترجمة الكلام متعددة اللغات IWSLT2021.تركز هذه المهمة على بحث ترجمة الكلام (ST) عبر العديد من لغات المصدر غير الإنجليزية.يمكن للمشاركين أن يقرروا ما إذا كانوا سيعملون على أنظمة مقيدة أو أنظمة غير مقيدة يمكنها استخدام البيانات الخارجية.نقوم بإنشاء أنظمة مقيدة للترجمة المتتالية والإنغانية في النهاية، باستخدام البيانات المقدمة فقط.في النهج المتتالي، نجمع بين التعرف على الكلام التلقائي في المطابقة (ASR) مع الترجمة الآلية العصبية القائمة على المحولات (NMT).تستخدم أنظمة الترجمة المباشرة المناسبة للكلام المباشرة في تشفير الأساس ومكتشف متعددة المهام.تم فركة الأنظمة المقدمة من قبل نماذج متتالية مختلفة.

In this paper, we describe Zhejiang University's submission to the IWSLT2021 Multilingual Speech Translation Task. This task focuses on speech translation (ST) research across many non-English source languages. Participants can decide whether to work on constrained systems or unconstrained systems which can using external data. We create both cascaded and end-to-end speech translation constrained systems, using the provided data only. In the cascaded approach, we combine Conformer-based automatic speech recognition (ASR) with the Transformer-based neural machine translation (NMT). Our end-to-end direct speech translation systems use ASR pretrained encoder and multi-task decoders. The submitted systems are ensembled by different cascaded models.