أنظمة ترجمة IWSLT 2021 ولكن الكلام

تصف الورقة أنظمة ترجمة الكلام (ST) ولكن الإنجليزية إلى الألمانية. وهي تستند إلى نماذج الترجمة الآلية المعرونة التي تم تدريبها بشكل مشترك. يتم تقييم أدائها على مجموعة اختبار MUSTC المشتركة. في هذا العمل، ندرس كفاءتها من وجهة نظر وجود كمية كبيرة من بيانات التدريب ASR المنفصلة وبيانات التدريب MT، وكمية أصغر من بيانات التدريب على الكلام. يتم استخدام كميات كبيرة من البيانات التدريبية ASR و MT لتدريب نماذج ASR و MT مسبقا. يتم استخدام بيانات الترجمة من الكلام لتحسين نماذج ASR-MT بشكل مشترك عن طريق تحديد مسار قابل للتطبيق من الكلام من الكلام إلى الترجمات. لهذا الغرض، نستخدم التمثيلات المستمرة الداخلية من وحدة فك ترميز ASR كدخل إلى وحدة MT. نظرا لأن ترجمة الكلام يمكن تحسينها من خلال تدريب وحدة فك الترميز العادية بالاشتراك مع وحدة MT-Module باستخدام كمية كبيرة من بيانات التدريب فقط MT فقط. نعرض أيضا تحسينات كبيرة من خلال تدريب وحدة ASR القادرة على توليد نص مخلوق، بدلا من مغادرة مهمة علامات الترقيم إلى وحدة MT.

The paper describes BUT's English to German offline speech translation (ST) systems developed for IWSLT2021. They are based on jointly trained Automatic Speech Recognition-Machine Translation models. Their performances is evaluated on MustC-Common test set. In this work, we study their efficiency from the perspective of having a large amount of separate ASR training data and MT training data, and a smaller amount of speech-translation training data. Large amounts of ASR and MT training data are utilized for pre-training the ASR and MT models. Speech-translation data is used to jointly optimize ASR-MT models by defining an end-to-end differentiable path from speech to translations. For this purpose, we use the internal continuous representations from the ASR-decoder as the input to MT module. We show that speech translation can be further improved by training the ASR-decoder jointly with the MT-module using large amount of text-only MT training data. We also show significant improvements by training an ASR module capable of generating punctuated text, rather than leaving the punctuation task to the MT module.