ضغط نموذج لتكييف المجال من خلال تقدير التأثير السببية

غالبا ما تعتمد تحسين التحسينات الأخيرة في الجودة التنبؤية لأنظمة معالجة اللغة الطبيعية على زيادة كبيرة في عدد المعلمات النموذجية. وقد أدى ذلك إلى محاولات مختلفة لضغط هذه النماذج، لكن الطرق الحالية لم تعتبر الاختلافات في القوة التنبؤية للمكونات النموذجية المختلفة أو في تعميم النماذج المضغوطة. لفهم العلاقة بين ضغط النموذج وتعميم خارج التوزيع، نحدد مهمة ضغط نماذج تمثيل اللغة بحيث تؤدي الأفضل في إعداد تكيف المجال. نختار معالجة هذه المشكلة من منظور سببي، مما يحاول تقدير متوسط ​​تأثير العلاج (أكل) من مكون نموذجي، مثل طبقة واحدة، في تنبؤات النموذج. يولد مخطط ضغط النموذج الموجه المقترح الخاص بنا (AMOC)، العديد من المرشحين النموذجيين، يختلف عن طريق المكونات النموذجية التي تمت إزالتها. ثم، نقوم بتحديد أفضل المرشح من خلال نموذج الانحدار الشديد الذي يستخدم أكلت للتنبؤ بالأداء المتوقع على المجال المستهدف. تفوق AMOC على خطوط أساسية قوية على العشرات من أزواج المجال عبر ثلاثة مهام تمييز نصية وتسلسل