تعدد اللغات T5 Pretrains نموذج تسلسل إلى تسلسل على نصوص أحادية الأبعاد ضخمة، والتي أظهرت نتائج واعدة على العديد من المهام المتبقية اللغوية.في هذه الورقة، نحسن محول نقل النص إلى النص متعدد اللغات مع أزواج الترجمة (MT6).على وجه التحديد، نستكشف ثلاثة مه
ام ما قبل التدريب النصي عبر اللغات، وهي الترجمة الآلية، والفساد زوج الترجمة، وتمضم الفساد المشترك.بالإضافة إلى ذلك، نقترح هدف جزئيا غير التلقائي للتدريب المسبق للنص.نقيم الأساليب على سبع مجموعات بيانات معيار متعددة اللغات، بما في ذلك تصنيف الجملة، والاعتراف بالكياء المسمى، والإجابة على الأسئلة، والتلخيص الجماعي.تظهر النتائج التجريبية أن MT6 المقترح يحسن عملية النقل عبر اللغات عبر MT5.
تشفير لغة متعددة اللغات المدربة مسبقا، مثل Bert متعدد اللغات و XLM-R، إظهار إمكانات كبيرة للتحويل الصفر - عبر اللغات. ومع ذلك، فإن هذه اللوائح متعددة اللغات لا تحيي بالتحديد الكلمات والعبارات عبر اللغات. على وجه الخصوص، يتطلب محاذاة التعلم في مساحة ا
لتضمين متعددة اللغات عادة على مستوى الجملة أو المستوى الموازي على مستوى Word، وهي مكلفة يتم الحصول عليها لغات الموارد المنخفضة. بديل هو جعل التشفير متعددة اللغات أكثر قوة؛ عند ضبط التشفير باستخدام المهمة المصدرة للمهمة، نربط التشفير لتتسامح مع الضوضاء في المساحات التضمين السياقية بحيث لا تتماشى تمثيلات اللغات المختلفة بشكل جيد، لا يزال بإمكان النموذج تحقيق أداء جيد على الصفر بالرصاص عبر اللغات نقل. في هذا العمل، نقترح استراتيجية تعليمية لتدريب النماذج القوية عن طريق رسم الروابط بين الأمثلة الخصومة وحالات فشل النقل الصفرية عبر اللغات. نعتمد اثنين من أساليب التدريب القوية المستخدمة على نطاق واسع، والتدريب الخصوم والتنعيم العشوائي، لتدريب النموذج القوي المرغوب فيه. توضح النتائج التجريبية أن التدريب القوي يحسن نقل صفرية عبر اللغات على مهام تصنيف النص. التحسن هو أكثر أهمية في إعداد النقل المتبادل المعمم، حيث ينتمي زوج جمل المدخلات إلى لغتين مختلفة.
