إعادة التفكير في الترجمة الآلية العصبية صفرية: من منظور المتغيرات الكامنة

الترجمة الصفرية بالرصاص، ترجمة مباشرة بين أزواج اللغة غير المرئي في التدريب، هي قدرة واعدة للترجمة الآلية العصبية متعددة اللغات (NMT). ومع ذلك، فإنه يعاني عادة من التقاط ارتباطات زائفة بين لغة الإخراج ودليل اللغة الثابتة اللغوية بسبب الهدف الأقصى لتدريب الاحتمالات، مما يؤدي إلى أداء تحويل ضعيف في الترجمة الصفرية. في هذه الورقة، نقدم هدفا مجانيا AutoNCoder بناء على لغة محورية في هدف التدريب التقليدي لتحسين دقة الترجمة على اتجاهات الطلقة الصفرية. يظهر التحليل النظري من منظور المتغيرات الكامنة أن نهجنا يزيد فعلا بشكل ضمني زيادة توزيع الاحتمالات على اتجاهات صفرية. على اثنين من مجموعات بيانات الترجمة الآلية القياسية، نوضح أن الطريقة المقترحة قادرة على القضاء بشكل فعال على الارتباط الزائفي وتتفوق بشكل كبير من الطرق التي من بين الفنادق ذات أداء رائع. يتوفر الكود الخاص بنا في https://github.com/victorwz/zs-nmt-dae.

Zero-shot translation, directly translating between language pairs unseen in training, is a promising capability of multilingual neural machine translation (NMT). However, it usually suffers from capturing spurious correlations between the output language and language invariant semantics due to the maximum likelihood training objective, leading to poor transfer performance on zero-shot translation. In this paper, we introduce a denoising autoencoder objective based on pivot language into traditional training objective to improve the translation accuracy on zero-shot directions. The theoretical analysis from the perspective of latent variables shows that our approach actually implicitly maximizes the probability distributions for zero-shot directions. On two benchmark machine translation datasets, we demonstrate that the proposed method is able to effectively eliminate the spurious correlations and significantly outperforms state-of-the-art methods with a remarkable performance. Our code is available at https://github.com/Victorwz/zs-nmt-dae.