التدريب متعدد اللغات متعدد الألوان مقرها

تم إظهار النماذج المحددة متعددة اللغات مسبقا، مثل XLM-Roberta (XLM-R) فعالة في العديد من المهام المتقاطعة عبر اللغات.ومع ذلك، لا تزال هناك فجوات بين التمثيلات السياقية للكلمات المماثلة بلغات مختلفة.لحل هذه المشكلة، نقترح إطارا جديدا يدعى تدريبات متعددة اللغات المختلطة (MVMLT)، والتي ترفع البيانات التي تبديل التعليمات البرمجية مع التعلم المتعدد المشاهدة لحن XLM-R.يستخدم MVMLT الرافية القائمة على التدرج لاستخراج الكلمات الرئيسية التي تعد الأكثر صلة بمهام المصب واستبدالها بالكلمات المقابلة في اللغة المستهدفة بشكل حيوي.علاوة على ذلك.تبين تجارب واسعة مزودة بأربع لغات أن نموذجنا يحقق نتائج أحدث النتائج على تصنيف المعنويات الصفرية ومهام تتبع الدولة للحوار، مما يدل على فعالية نموذجنا المقترح.