الكفاءة غير المرغوب فيها غير مخالفة لغات ذات صلة مع نماذج اللغة عبر اللغات وأهداف الإخلاص

تستند النجاح الأكثر نجاحا إلى الترجمة الآلية العصبية (NMT) عند توفر بيانات التدريب أحادية غير متوفرة فقط، تسمى الترجمة الآلية غير المدعية، على الترجمة الخلفية حيث يتم إنشاء ترجمات صاخبة لتحويل المهمة إلى واحدة تحت إشراف.ومع ذلك، فإن الترجمة الخلفية هي باهظة الثمن بشكل حسابي وغير فعال.يستكشف هذا العمل نهجا جديدا وفعالا ل NMT غير المدعوم.محول، تهيئته مع أوزان نموذج اللغة عبر اللغات، يتم ضبطه بشكل جيد على بيانات أحادية الأجل من اللغة المستهدفة من خلال التعلم المشترك على إعادة صياغة وإنهاء هدف AutoNCoder.تتم التجارب على مجموعات بيانات WMT للغة الألمانية والفرنسية والإنجليزية والرومانية الإنجليزية.النتائج تنافسية نماذج NMT الأساسية القوية غير الخاضعة للرقابة الوطنية، خاصة لغلا المصادر ذات الصلة عن كثب (الألمانية) مقارنة بأكثر اعتراضا (رومانية، فرنسية)، بينما تتطلب وقتا أقل من حجم التدريب.

The most successful approach to Neural Machine Translation (NMT) when only monolingual training data is available, called unsupervised machine translation, is based on back-translation where noisy translations are generated to turn the task into a supervised one. However, back-translation is computationally very expensive and inefficient. This work explores a novel, efficient approach to unsupervised NMT. A transformer, initialized with cross-lingual language model weights, is fine-tuned exclusively on monolingual data of the target language by jointly learning on a paraphrasing and denoising autoencoder objective. Experiments are conducted on WMT datasets for German-English, French-English, and Romanian-English. Results are competitive to strong baseline unsupervised NMT models, especially for closely related source languages (German) compared to more distant ones (Romanian, French), while requiring about a magnitude less training time.