ترغب بنشر مسار تعليمي؟ اضغط هنا

التعلم متعدد المهام مع التشفير المشترك للترجمة الآلية غير التلقائي

Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation

283   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أظهرت نماذج الترجمة الآلية غير التلقائية (NAT) تسريعا كبيرا للاستدلال، لكنها تعاني من دقة ترجمة أدنى. الممارسة الشائعة لمعالجة المشكلة هي نقل الترجمة الآلية التلقائي (في) معرفة نماذج NAT، على سبيل المثال، مع تقطير المعرفة. في هذا العمل، نحن نفترض والتحقق تجريبيا من أن ترميز اللوائح في و NAT التقاط خصائص لغوية مختلفة من الجمل المصدر. لذلك، نقترح اعتماد التعلم متعدد المهام لنقل المعرفة إلى نماذج NAT من خلال تقاسم التشفير. على وجه التحديد، نأخذ النموذج في المهمة المساعدة لتعزيز أداء نموذج NAT. تظهر النتائج التجريبية على مجموعات بيانات WMT14 EN-DE و WMT16 EN-RO أن المهمة المتعددة المقترحة NAT تحقق تحسينات كبيرة على نماذج الأساس NAT. علاوة على ذلك، تؤكد الأداء الموجود على مجموعات بيانات WMT19 و WMT20 و WMT20 واسعة النطاق اتساق طريقةنا المقترحة. بالإضافة إلى ذلك، توضح النتائج التجريبية أن لدينا NAT متعددة المهام لدينا مكملة لتقطير المعرفة، وسيلة نقل المعرفة القياسية لل NAT.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حققت الترجمة الآلية العصبية غير التلقائية، التي تتحلل الاعتماد على الرموز المستهدفة السابقة من مدخلات وحدة فك التشفير، تسريع استنتاج مثير للإعجاب ولكن بتكلفة الدقة السفلى. Works السابق توظف فك تشفير تكريري لتحسين الترجمة عن طريق تطبيق تكرارات تحسين م تعددة. ومع ذلك، فإن العيب الخطير هو أن هذه الأساليب تعرض الضعف الخطير في الاعتراف بقطع الترجمة الخاطئة. في هذه الورقة، نقترح بنية المعمارية المسماة rewritenat للتعلم صراحة إعادة كتابة قطع الترجمة الخاطئة. على وجه التحديد، يستخدم ReWritEnat وحدة تحديد المواقع لتحديد موقع تلك الخاطئة، والتي يتم تنقيحها بعد ذلك في الوحدة النمطية الصحيحة. نحو الحفاظ على اتساق توزيع البيانات مع فك التشفير التكراري، يتم استخدام استراتيجية تدريبية تكرارية لزيادة تحسين قدرة إعادة كتابة. تظهر تجارب واسعة أجريت على العديد من المعايير المستخدمة على نطاق واسع أن إعادة البيع يمكن أن تحقق أداء أفضل مع تقليل وقت فك التشفير بشكل كبير، مقارنة باستراتيجيات فك التشفير السابقة السابقة. على وجه الخصوص، يمكن إعادة كتابة النتائج التنافسية مع الترجمة التلقائية على معايير الترجمة AutoreGressive على معايير الترجمة WMT14 EN-DE، EN-FR و WMT16 RO-en.
تعاني نماذج الترجمة الآلية العصبية غير التلقائية (NART) من مشكلة الوسائط المتعددة والتي تسبب عدم تناسق الترجمة مثل تكرار الرمز المميز. حاولت معظم الأساليب الأخيرة حل هذه المشكلة من خلال النمذجة الضمنية التبعيات بين المخرجات. في هذه الورقة، نقدم Align art، الذي يرفع معلومات المحاذاة الكاملة إلى تقليل طريقة التوزيع المستهدف بشكل صريح. تقسم AlignArt مهمة ترجمة الآلة في (1) تقدير المحاذاة و (2) الترجمة مع مدخلات فك تشفير محاذاة، توجيه وحدة فك التركيز للتركيز على الترجمة المبسطة الواحدة المبسطة. لتخفيف مشكلة تقدير المحاذاة، فإننا نقترح كذلك طريقة تحلل المحاذاة الجديدة. تظهر تجاربنا أن Alignart تفوق النماذج السابقة غير التكرارية التي تركز على تخفيض طريقة صريحة على WMT14 EN↔DE و WMT16 RO → EN. علاوة على ذلك، تحقق Alignart درجات بلو مماثلة لتلك النماذج القائمة على التصنيف الزمني للدولة من الفنون على WMT14 En↔de. نلاحظ أيضا أن Alignart يعالج بشكل فعال مشكلة تكرار الرمز المميز حتى دون تقطير المعرفة على مستوى التسلسل.
نماذج الترجمة الآلية العصبية (NMT) هي مدفوعة بالبيانات وتتطلب كوربوس تدريب واسع النطاق. في التطبيقات العملية، عادة ما يتم تدريب نماذج NMT على مجال مجال عام ثم يتم ضبطه بشكل جيد من خلال التدريب المستمر على Corpus في المجال. ومع ذلك، فإن هذا يحمل خطر ا لنسيان الكارثي الذي ينخفض ​​فيه الأداء الموجود على المجال العام بشكل كبير. في هذا العمل، نقترح إطارا تعليميا مستمرا جديدا لنماذج NMT. نحن نعتبر سيناريو حيث يتألف التدريب من مراحل متعددة واقتراح تقنية تقطير معارف ديناميكية لتخفيف مشكلة النسيان الكارثي بشكل منهجي. نجد أيضا أن التحيز موجود في الإسقاط الخطي الإخراج عند ضبط جيد على Corpus في المجال، واقترح وحدة تصحيح التحيز للقضاء على التحيز. نقوم بإجراء تجارب في ثلاثة إعدادات تمثيلية لتطبيق NMT. تظهر النتائج التجريبية أن الطريقة المقترحة تحقق أداء فائقا مقارنة بالنماذج الأساسية في جميع الإعدادات.
نقدم COTEXT، وهو نموذج ترميز ترميز مدرب مسبقا مدرب مسبقا، يتعلم السياق التمثيلي بين اللغة الطبيعية (NL) ولغة البرمجة (PL). باستخدام الإشراف الذاتي، تم تدريب COTEX مسبقا على لغة البرمجة الكبيرة لشركة Corpora لتعلم فهم عام للغة والرمز. يدعم COTEXT مهام NL-PL المصب مثل الرمز الملخص / الوثائق، وتوليد الرموز، والكشف عن العيوب، وتصحيح التعليمات البرمجية. نحن ندرب مشعك على مجموعات مختلفة من Corpus المتوفرة المتوفرة بما في ذلك البيانات BIMODAL 'و Unimodal'. هنا، بيانات BIMODAL هي مزيج من النصوص النصية والنصوص المقابلة، في حين أن البيانات غير المستخدمة هي مجرد مقتطفات رمز. نقيم أولا COTEXT مع التعلم متعدد المهام: نقوم بإجراء تلخيص الكود على 6 لغات برمجة مختلفة وصقل التعليمات البرمجية على كل من الحجم الصغير والمتوسط ​​المميز في DataSet Codexglue. كلنا إجراء تجارب مكثفة للتحقيق في COTEXT على مهام أخرى ضمن DataSet Codexglue، بما في ذلك توليد التعليمات البرمجية والكشف عن العيوب. نحن نتحمل باستمرار نتائج SOTA في هذه المهام، مما يدل على تنوع نماذجنا.
الترجمة الآلية العصبية (NMT) حساسة لتحويل المجال. في هذه الورقة، نتعامل مع هذه المشكلة في إعداد تعليمي نشط حيث يمكننا أن نقضي ميزانية معينة في ترجمة البيانات داخل المجال، وتصفح تدريجيا نموذج NMT خارج المجال المدرب مسبقا على البيانات المترجمة حديثا. ع ادة ما تختار طرق التعلم النشطة الحالية ل NMT الجمل بناء على درجات عدم اليقين، ولكن هذه الأساليب تتطلب ترجمة مكلفة للجمل الكاملة حتى عندما تكون عبارات واحدة أو اثنين فقط في الجملة مفيدة. لمعالجة هذا القيد، نعيد فحص العمل السابق من حقبة الترجمة الآلية القائمة على العبارة (PBMT) التي حددت جمل كاملة، ولكن العبارات الفردية إلى حد ما. ومع ذلك، في حين أن دمج هذه العبارات في أنظمة PBMT كانت بسيطة نسبيا، إلا أنها أقل تافهة لأنظمة NMT، والتي يجب تدريبها على تسلسل كامل لالتقاط خصائص هيكلية أكبر للجمل الفريدة للمجال الجديد. للتغلب على هذه العقبات، نقترح تحديد كلا الجمل الكاملة والعبارات الفردية من البيانات غير المسبقة في المجال الجديد للتوجيه إلى المترجمين البشريين. في مهمة ترجمة باللغة الألمانية-الإنجليزية، تحقق نهج التعلم النشط لدينا تحسينات متسقة حول أساليب اختيار الجملة القائمة على عدم اليقين، وتحسين ما يصل إلى 1.2 نتيجة بلو على خطوط خطوط التعلم النشطة قوية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا