اختيار طبقة لينة مع التعلم التلوي لنقل الصفر القصير عبر اللغات

حققت نماذج التضمين السياقية المدربة مسبقا متعددة اللغات (Devlin et al.، 2019) أداء مثير للإعجاب على مهام نقل اللغات الصفرية.من خلال إيجاد استراتيجية ضبط الدقيقة الأكثر فعالية لضبط هذه النماذج على لغات الموارد عالية الموارد بحيث تقوم بتحويلاتها جيدا لغات اللغات الصفرية هي مهمة غير تافهة.في هذه الورقة، نقترح رواية ميتا المحسن إلى طبقات ناعمة في طبقات النموذج المدرب مسبقا لتجميدها أثناء الضبط.نحن ندرب ميتا المحسن عن طريق محاكاة سيناريو نقل الصفر بالرصاص.تشير النتائج على الاستدلال اللغوي المتبادل اللغوي إلى أن نهجنا يحسن على خط الأساس البسيط للضبط و X-Maml (Nooralahzadeh et al.، 2020).