تبادل الاهتمام شبكات محول المعزز للترجمة الفورية

تقترح هذه الورقة هندسة جديدة، والاهتمام المتقاطع محول المعزز (CAAT)، للحصول على ترجمة متزامنة.يهدف الإطار إلى تحسين نماذج السياسات والترجمة بشكل مشترك.للتفكير بشكل فعال في جميع مسارات عمل الترجمة المتزامنة للقراءة والكتابة، نقوم بتكييف طراز التعرف على الكلام التلقائي عبر الإنترنت (ASR)، RNN-T، ولكن قم بإزالة القيود الخطية القوية، وهو أمر بالغ الأهمية لمهمة الترجمة للنظر في إعادة ترتيب.لجعل أعمال CAAT، نقدم خسارة زمنية جديدة يمكن تحسين توقعها بواسطة خوارزمية متخلفة للأمام.نقوم بتنفيذ CAAT مع محول بينما يمكن أيضا تنفيذ الهندسة المعمارية العامة CAAT مع أطر ترميز التشفير الأخرى القائمة على الانتباه.تشير التجارب على مهام الترجمة الفورية للكلمة إلى النص (S2T) والنصوص (T2T) إلى أن CAAT تحقق مفاضلات أفضل لجودة الكمون بشكل كبير مقارنة بنهج الترجمة المتزامنة التي من بين الفن.

This paper proposes a novel architecture, Cross Attention Augmented Transducer (CAAT), for simultaneous translation. The framework aims to jointly optimize the policy and translation models. To effectively consider all possible READ-WRITE simultaneous translation action paths, we adapt the online automatic speech recognition (ASR) model, RNN-T, but remove the strong monotonic constraint, which is critical for the translation task to consider reordering. To make CAAT work, we introduce a novel latency loss whose expectation can be optimized by a forward-backward algorithm. We implement CAAT with Transformer while the general CAAT architecture can also be implemented with other attention-based encoder-decoder frameworks. Experiments on both speech-to-text (S2T) and text-to-text (T2T) simultaneous translation tasks show that CAAT achieves significantly better latency-quality trade-offs compared to the state-of-the-art simultaneous translation approaches.