اختيار طبقة لينة مع التعلم التلوي لنقل الصفر القصير عبر اللغات

حققت نماذج التضمين السياقية المدربة مسبقا متعددة اللغات (Devlin et al.، 2019) أداء مثير للإعجاب على مهام نقل اللغات الصفرية.من خلال إيجاد استراتيجية ضبط الدقيقة الأكثر فعالية لضبط هذه النماذج على لغات الموارد عالية الموارد بحيث تقوم بتحويلاتها جيدا لغات اللغات الصفرية هي مهمة غير تافهة.في هذه الورقة، نقترح رواية ميتا المحسن إلى طبقات ناعمة في طبقات النموذج المدرب مسبقا لتجميدها أثناء الضبط.نحن ندرب ميتا المحسن عن طريق محاكاة سيناريو نقل الصفر بالرصاص.تشير النتائج على الاستدلال اللغوي المتبادل اللغوي إلى أن نهجنا يحسن على خط الأساس البسيط للضبط و X-Maml (Nooralahzadeh et al.، 2020).

Multilingual pre-trained contextual embedding models (Devlin et al., 2019) have achieved impressive performance on zero-shot cross-lingual transfer tasks. Finding the most effective fine-tuning strategy to fine-tune these models on high-resource languages so that it transfers well to the zero-shot languages is a non-trivial task. In this paper, we propose a novel meta-optimizer to soft-select which layers of the pre-trained model to freeze during fine-tuning. We train the meta-optimizer by simulating the zero-shot transfer scenario. Results on cross-lingual natural language inference show that our approach improves over the simple fine-tuning baseline and X-MAML (Nooralahzadeh et al., 2020).