تحسين التعلم تحويل صفرية عبر اللغات عبر التدريب القوي


الملخص بالعربية

تشفير لغة متعددة اللغات المدربة مسبقا، مثل Bert متعدد اللغات و XLM-R، إظهار إمكانات كبيرة للتحويل الصفر - عبر اللغات. ومع ذلك، فإن هذه اللوائح متعددة اللغات لا تحيي بالتحديد الكلمات والعبارات عبر اللغات. على وجه الخصوص، يتطلب محاذاة التعلم في مساحة التضمين متعددة اللغات عادة على مستوى الجملة أو المستوى الموازي على مستوى Word، وهي مكلفة يتم الحصول عليها لغات الموارد المنخفضة. بديل هو جعل التشفير متعددة اللغات أكثر قوة؛ عند ضبط التشفير باستخدام المهمة المصدرة للمهمة، نربط التشفير لتتسامح مع الضوضاء في المساحات التضمين السياقية بحيث لا تتماشى تمثيلات اللغات المختلفة بشكل جيد، لا يزال بإمكان النموذج تحقيق أداء جيد على الصفر بالرصاص عبر اللغات نقل. في هذا العمل، نقترح استراتيجية تعليمية لتدريب النماذج القوية عن طريق رسم الروابط بين الأمثلة الخصومة وحالات فشل النقل الصفرية عبر اللغات. نعتمد اثنين من أساليب التدريب القوية المستخدمة على نطاق واسع، والتدريب الخصوم والتنعيم العشوائي، لتدريب النموذج القوي المرغوب فيه. توضح النتائج التجريبية أن التدريب القوي يحسن نقل صفرية عبر اللغات على مهام تصنيف النص. التحسن هو أكثر أهمية في إعداد النقل المتبادل المعمم، حيث ينتمي زوج جمل المدخلات إلى لغتين مختلفة.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث