الفعال محول اختبار الوقت الكفاءة بالنسبة لأصناف لغة الموارد المنخفضة

المحولات هي وحدات خفيفة الوزن تسمح بضبط النماذج الدقيقة التي يتمتع بها المعلمة. تم اقتراح محولات اللغة والمهمة المتخصصة مؤخرا لتسهيل التحويل عبر اللغات للنماذج المحددة متعددة اللغات (Pfeiffer et al.، 2020b). ومع ذلك، يتطلب هذا النهج تدريب محول لغة منفصل لكل لغة ترغب في الدعم، مما قد يكون غير صحيح لغات مع بيانات محدودة. الحل البديهي هو استخدام محول لغة ذات صلة لتنوع اللغات الجديدة، لكننا نلاحظ أن هذا الحل يمكن أن يؤدي إلى الأداء دون الأمثل. في هذه الورقة، نهدف إلى تحسين متانة المحولات اللغوية باللغات غير المكشوفة دون تدريب محولات جديدة. نجد أن الكشف عن محولات متعددة اللغات متعددة يجعل النموذج الدقيق أكثر قوة أكثر بكثير من أصناف اللغة الأخرى غير المدرجة في هذه المحولات. بناء على هذه الملاحظة، نقترح Entropy Minimized Entermble of Adrapters (EMEA)، وهي طريقة تعمل على تحسين أوزان مجموعة محولات اللغة المحددة مسبقا لكل جملة اختبار عن طريق تقليل انتروبيا من تنبؤاتها. تبين التجارب في ثلاث مجموعات متنوعة من الأصناف اللغوية أن طريقتنا تؤدي إلى تحسينات كبيرة على كل من الاعتراف الكياري المسمى ووضع علامات جزء من الكلام في جميع اللغات.