توضح هذه الورقة تقديم نظام الترجمة من Niutrans End-tou-end الكلام للمهمة غير المتصلة IWSLT 2021، والتي تترجم من الصوت الإنجليزي إلى النص الألماني مباشرة دون نسخ متوسط.نحن نستخدم الهندسة المعمارية النموذجية القائمة على المحولات وتعزيزها عن طريق مطابقة
، ترميز الموضع النسبي، والترميز الصوتية والترميز النصي مكدسة.لزيادة بيانات التدريب، يتم ترجم نسخ اللغة الإنجليزية إلى الترجمات الألمانية.أخيرا، نحن نوظف فك تشفير الفرقة لدمج التنبؤات من عدة نماذج مدربة مع مجموعات البيانات المختلفة.الجمع بين هذه التقنيات، نحقق 33.84 نقطة بلو على مجموعة اختبار EN-DE MUST-C، والتي تظهر الإمكانات الهائلة لنموذج نهاية إلى نهاية.
توضح هذه الورقة تقديم IWSLT-St المجموعة ESPNET-St Group في مسار ترجمة الكلام دون اتصال بالإنترنت. لقد بذلنا هذا العام جهود مختلفة على تدريب البيانات والهندسة المعمارية وتجزئة الصوت. على جانب البيانات، التحقق في تقطير المعرفة على مستوى التسلسل (SEQKD)
لترجمة خطاب نهاية إلى نهاية (E2E). على وجه التحديد، استخدمنا SEQKD متعدد المراجع من المعلمين المتعددين المدربين على كميات مختلفة من BiteXT. في جانب الهندسة المعمارية، اعتمكنا من تشفير المطابقة والهندسة المعمارية متعددة اللمعان، والذي يزود بكوادر مخصصة للتعرف على الكلام ومهام الترجمة في نموذج ترميز الترميز الموحد وتمكن البحث في كل من المساحات المصدر والجلد المستهدف أثناء الاستدلال. نحن أيضا تحسين تجزئة الصوت باستخدام مجموعة أدوات Pyannote.Audio ودمج قطاعات قصيرة متعددة للنمذجة ذات السياق الطويل. أظهرت التقييمات التجريبية أن كل منهم ساهم في تحسينات كبيرة في أداء الترجمة. مجتمع أفضل نظام E2E لدينا بجميع التقنيات المذكورة أعلاه مع مجموعة نموذجية وحققت 31.4 بلو في المرجع 2- TST2021 و 21.2 بلو و 19.3 بلو على المراجع الفردية من TST2021.
