CONTOTE-AWARE TECODER الترجمة الآلية العصبية باستخدام نموذج لغة الوثيقة ذات المستوى المستهدف

على الرغم من أنه تم اقتراح العديد من نماذج الترجمة الآلية التي أدركها العديد من المناظر في إدراج سياقات مشتركة بين العلويين في الترجمة، يمكن تدريب هذه النماذج فقط في المجالات التي توجد فيها مستندات متوازية ذات محاذاة أساسيا.لذلك نقدم طريقة بسيطة لأداء فك تشفير السياق مع أي نموذج ترجمة مسبقا مسبقا مسبقا مسبقا باستخدام نموذج لغة مستوى المستند.تم بناء وحدة فك ترميز Context-Aware الخاص بنا على البيانات الموازية على مستوى الجملة والبيانات غير المباشرة على مستوى المستند على مستوى المستند.من وجهة نظر نظرية، فإن مساهمتنا الأساسية هي التمثيل الجديد لمعلومات السياقية باستخدام المعلومات المتبادلة النقطة بين السياق والحكم الحالي.نوضح فعالية طريقنا على الترجمة الإنجليزية إلى الترجمة الروسية، من خلال تقييمها مع اختبارات بلو وتناقض الترجمة من السياق.

Although many end-to-end context-aware neural machine translation models have been proposed to incorporate inter-sentential contexts in translation, these models can be trained only in domains where parallel documents with sentential alignments exist. We therefore present a simple method to perform context-aware decoding with any pre-trained sentence-level translation model by using a document-level language model. Our context-aware decoder is built upon sentence-level parallel data and target-side document-level monolingual data. From a theoretical viewpoint, our core contribution is the novel representation of contextual information using point-wise mutual information between context and the current sentence. We demonstrate the effectiveness of our method on English to Russian translation, by evaluating with BLEU and contrastive tests for context-aware translation.