التعلم المتبادل يحسن ترجمة خط الكلام في النهاية

تتمثل منطقة البحث الشعبية حاليا في الترجمة الانتهاء من الكلام في النهاية باستخدام تقنورة المعرفة من مهمة ترجمة آلية (MT) لتحسين مهمة ترجمة الكلام (ST).ومع ذلك، من الواضح أن مثل هذا السيناريو يسمح فقط بنقل طريقة واحدة، وهو محدود من أداء نموذج المعلم.لذلك، نحن فرضية أن الأساليب القائمة على تقطر المعرفة هي الأمثل.في هذه الورقة، نقترح بديلا - سيناريو تعليمي متبادل قابل للتدريب، حيث تم تدريب MT ونماذج ST بشكل تعاوني وتعتبر أقرانها، بدلا من المعلم / الطالب.هذا يسمح لنا بتحسين أداء الشك الواحد إلى نهاية أكثر فعالية من نموذج معلم طالب.كمنفعة جانبية، يتحسن أداء نموذج MT أيضا.تظهر النتائج التجريبية أنه في سيناريو التعلم المتبادل لدينا، يمكن أن تستخدم النماذج بشكل فعال المعلومات المساعدة من نماذج الأقران وتحقيق نتائج مقنعة على مجموعة بيانات MUST-C.

A currently popular research area in end-to-end speech translation is the use of knowledge distillation from a machine translation (MT) task to improve the speech translation (ST) task. However, such scenario obviously only allows one way transfer, which is limited by the performance of the teacher model. Therefore, We hypothesis that the knowledge distillation-based approaches are sub-optimal. In this paper, we propose an alternative--a trainable mutual-learning scenario, where the MT and the ST models are collaboratively trained and are considered as peers, rather than teacher/student. This allows us to improve the performance of end-to-end ST more effectively than with a teacher-student paradigm. As a side benefit, performance of the MT model also improves. Experimental results show that in our mutual-learning scenario, models can effectively utilise the auxiliary information from peer models and achieve compelling results on Must-C dataset.