التكيف غير المعلم غير المعلم

في الآونة الأخيرة، أظهرت KNN-MT (Khandelwal et al.، 2020) القدرة الواعدة لإدماجها مباشرة نموذج الترجمة الآلية العصبية المدربة مسبقا (NMT) مع استرجاع المجلة K-Levely-Levely-Level (KNN) ذات المستوى الأعلى للمجال تكيف المجال دون إعادة التدريب. على الرغم من كونها جذابة من الناحية النظرية، فإنه يعتمد بشدة على كورسا موازية عالية الجودة داخل المجال، مما يحد من قدرته على التكيف عن المجال غير المزعوم، حيث توجد شركة موازية داخل المجال نادرة أو غير موجودة. في هذه الورقة، نقترح إطارا جديدا يستخدم بشكل مباشر جمل أحادية المجال في اللغة المستهدفة لبناء اسم بيانات فعالة لاسترجاع جار ك. تحقيقا لهذه الغاية، نقدم أولا مهمة AutoNCoder بناء على اللغة المستهدفة، ثم قم بإدراج محولات خفيفة الوزن في نموذج NMT الأصلي لتعيين تمثيل مستوى الرمز المميز لهذه المهمة إلى التمثيل المثالي لمهمة الترجمة المثالية. توضح التجارب في مجموعات البيانات متعددة المجالات أن نهجنا المقترح يحسن بشكل كبير من دقة الترجمة مع بيانات أحادية الجانب المستهدف، مع تحقيق أداء مماثل مع الترجمة الخلفي. تنفيذنا مفتوح مصادر في HTTPS: // github. com / zhengxxn / uda-knn.

Recently, kNN-MT (Khandelwal et al., 2020) has shown the promising capability of directly incorporating the pre-trained neural machine translation (NMT) model with domain-specific token-level k-nearest-neighbor (kNN) retrieval to achieve domain adaptation without retraining. Despite being conceptually attractive, it heavily relies on high-quality in-domain parallel corpora, limiting its capability on unsupervised domain adaptation, where in-domain parallel corpora are scarce or nonexistent. In this paper, we propose a novel framework that directly uses in-domain monolingual sentences in the target language to construct an effective datastore for k-nearest-neighbor retrieval. To this end, we first introduce an autoencoder task based on the target language, and then insert lightweight adapters into the original NMT model to map the token-level representation of this task to the ideal representation of the translation task. Experiments on multi-domain datasets demonstrate that our proposed approach significantly improves the translation accuracy with target-side monolingual data, while achieving comparable performance with back-translation. Our implementation is open-sourced at https://github. com/zhengxxn/UDA-KNN.