أظهرت نماذج الترجمة الآلية غير التلقائية (NAT) تسريعا كبيرا للاستدلال، لكنها تعاني من دقة ترجمة أدنى. الممارسة الشائعة لمعالجة المشكلة هي نقل الترجمة الآلية التلقائي (في) معرفة نماذج NAT، على سبيل المثال، مع تقطير المعرفة. في هذا العمل، نحن نفترض والتحقق تجريبيا من أن ترميز اللوائح في و NAT التقاط خصائص لغوية مختلفة من الجمل المصدر. لذلك، نقترح اعتماد التعلم متعدد المهام لنقل المعرفة إلى نماذج NAT من خلال تقاسم التشفير. على وجه التحديد، نأخذ النموذج في المهمة المساعدة لتعزيز أداء نموذج NAT. تظهر النتائج التجريبية على مجموعات بيانات WMT14 EN-DE و WMT16 EN-RO أن المهمة المتعددة المقترحة NAT تحقق تحسينات كبيرة على نماذج الأساس NAT. علاوة على ذلك، تؤكد الأداء الموجود على مجموعات بيانات WMT19 و WMT20 و WMT20 واسعة النطاق اتساق طريقةنا المقترحة. بالإضافة إلى ذلك، توضح النتائج التجريبية أن لدينا NAT متعددة المهام لدينا مكملة لتقطير المعرفة، وسيلة نقل المعرفة القياسية لل NAT.
Non-Autoregressive machine Translation (NAT) models have demonstrated significant inference speedup but suffer from inferior translation accuracy. The common practice to tackle the problem is transferring the Autoregressive machine Translation (AT) knowledge to NAT models, e.g., with knowledge distillation. In this work, we hypothesize and empirically verify that AT and NAT encoders capture different linguistic properties of source sentences. Therefore, we propose to adopt multi-task learning to transfer the AT knowledge to NAT models through encoder sharing. Specifically, we take the AT model as an auxiliary task to enhance NAT model performance. Experimental results on WMT14 En-De and WMT16 En-Ro datasets show that the proposed Multi-Task NAT achieves significant improvements over the baseline NAT models. Furthermore, the performance on large-scale WMT19 and WMT20 En-De datasets confirm the consistency of our proposed method. In addition, experimental results demonstrate that our Multi-Task NAT is complementary to knowledge distillation, the standard knowledge transfer method for NAT.
المراجع المستخدمة
https://aclanthology.org/
حققت الترجمة الآلية العصبية غير التلقائية، التي تتحلل الاعتماد على الرموز المستهدفة السابقة من مدخلات وحدة فك التشفير، تسريع استنتاج مثير للإعجاب ولكن بتكلفة الدقة السفلى. Works السابق توظف فك تشفير تكريري لتحسين الترجمة عن طريق تطبيق تكرارات تحسين م
تعاني نماذج الترجمة الآلية العصبية غير التلقائية (NART) من مشكلة الوسائط المتعددة والتي تسبب عدم تناسق الترجمة مثل تكرار الرمز المميز. حاولت معظم الأساليب الأخيرة حل هذه المشكلة من خلال النمذجة الضمنية التبعيات بين المخرجات. في هذه الورقة، نقدم Align
نماذج الترجمة الآلية العصبية (NMT) هي مدفوعة بالبيانات وتتطلب كوربوس تدريب واسع النطاق. في التطبيقات العملية، عادة ما يتم تدريب نماذج NMT على مجال مجال عام ثم يتم ضبطه بشكل جيد من خلال التدريب المستمر على Corpus في المجال. ومع ذلك، فإن هذا يحمل خطر ا
نقدم COTEXT، وهو نموذج ترميز ترميز مدرب مسبقا مدرب مسبقا، يتعلم السياق التمثيلي بين اللغة الطبيعية (NL) ولغة البرمجة (PL). باستخدام الإشراف الذاتي، تم تدريب COTEX مسبقا على لغة البرمجة الكبيرة لشركة Corpora لتعلم فهم عام للغة والرمز. يدعم COTEXT مهام
الترجمة الآلية العصبية (NMT) حساسة لتحويل المجال. في هذه الورقة، نتعامل مع هذه المشكلة في إعداد تعليمي نشط حيث يمكننا أن نقضي ميزانية معينة في ترجمة البيانات داخل المجال، وتصفح تدريجيا نموذج NMT خارج المجال المدرب مسبقا على البيانات المترجمة حديثا. ع