تتضمن ترجمة الآلات العصبية السياق (NMT) معلومات سياقية من النصوص المحيطة بها، والتي يمكن أن تحسن جودة الترجمة من الترجمة الآلية على مستوى المستند. ركز العديد من الأعمال الموجودة على NMT على دراية السياق على تطوير هياكل نموذجية جديدة لإدماج سياقات إضافية وأظهرت بعض النتائج الواعدة. ومع ذلك، فإن معظم الأعمال الموجودة تعتمد على فقدان الانتروبيا، مما يؤدي إلى استخدام محدود من المعلومات السياقية. في هذه الورقة، نقترح CoreFCL، وتعزيز البيانات الجديدة ومخطط التعلم المتعاقلي على أساس COMERALE بين المصدر والجمل السياقية. من خلال التفسير الذي تم اكتشافه تلقائيا يذكر السلامة في الجملة السياقية، يمكن corefcl تدريب النموذج على أن تكون حساسة لتناقض الأساسية. جربنا من طريقنا على نماذج NMT Common Commany-Aware NMT ومهام ترجمة على مستوى المستند. في التجارب، تحسنت طريقتنا باستمرار بلو من النماذج المقارنة على المهام الإنجليزية والألمانية والكورية. نظهر أيضا أن طريقتنا تعمل بشكل كبير على تحسين دقة Aquerence في جناح الاختبار الإنجليزي والألماني.
Context-aware neural machine translation (NMT) incorporates contextual information of surrounding texts, that can improve the translation quality of document-level machine translation. Many existing works on context-aware NMT have focused on developing new model architectures for incorporating additional contexts and have shown some promising results. However, most of existing works rely on cross-entropy loss, resulting in limited use of contextual information. In this paper, we propose CorefCL, a novel data augmentation and contrastive learning scheme based on coreference between the source and contextual sentences. By corrupting automatically detected coreference mentions in the contextual sentence, CorefCL can train the model to be sensitive to coreference inconsistency. We experimented with our method on common context-aware NMT models and two document-level translation tasks. In the experiments, our method consistently improved BLEU of compared models on English-German and English-Korean tasks. We also show that our method significantly improves coreference resolution in the English-German contrastive test suite.
References used
https://aclanthology.org/
In this paper, we describe our MiSS system that participated in the WMT21 news translation task. We mainly participated in the evaluation of the three translation directions of English-Chinese and Japanese-English translation tasks. In the systems su
Although many end-to-end context-aware neural machine translation models have been proposed to incorporate inter-sentential contexts in translation, these models can be trained only in domains where parallel documents with sentential alignments exist
Existing curriculum learning approaches to Neural Machine Translation (NMT) require sampling sufficient amounts of easy'' samples from training data at the early training stage. This is not always achievable for low-resource languages where the amoun
Low-resource Multilingual Neural Machine Translation (MNMT) is typically tasked with improving the translation performance on one or more language pairs with the aid of high-resource language pairs. In this paper and we propose two simple search base
Exemplar-Guided Paraphrase Generation (EGPG) aims to generate a target sentence which conforms to the style of the given exemplar while encapsulating the content information of the source sentence. In this paper, we propose a new method with the goal