التأثير على ضبط: إزالة الارتباطات الزائفة عبر الإسناد المثيل وتحديثات مدفوعة بالمثيل

من بين القيود الأكثر أهمية في نماذج NLP التعليمية العميقة هي عدم قابلية الترجمة الشفوية، واعتمادها على الارتباطات الزائفة.اقترح العمل السابق مناهج مختلفة لتفسير نماذج الصندوق الأسود للكشف عن الارتباطات الزائفة، ولكن تم استخدام البحث في المقام الأول في سيناريوهات تفاعل الكمبيوتر البشري.لا يزال لا يزال غير متوقع سواء أم لا يمكن استخدام تفسيرات النمطية أو كيفية استخدامها تلقائيا "ميزات مربكة".في هذا العمل، نقترح التأثير على الضبط --- الإجراء الذي يرفع تفسيرات نموذجية لتحديث معلمات النموذج نحو تفسير معقول (بدلا من التفسير الذي يعتمد على الأنماط الزائفة في البيانات) بالإضافة إلى تعلم التنبؤ بالملصقات المهمة.نظرا لأنه في برنامج إعداد خاضع للرقابة، يمكن أن يساعد التأثير على الضبط في إزالة النموذج من الأنماط الزائفة في البيانات، مما يتفوق بشكل كبير على أساليب خط الأساس التي تستخدم التدريب الخصم.

Among the most critical limitations of deep learning NLP models are their lack of interpretability, and their reliance on spurious correlations. Prior work proposed various approaches to interpreting the black-box models to unveil the spurious correlations, but the research was primarily used in human-computer interaction scenarios. It still remains underexplored whether or how such model interpretations can be used to automatically unlearn'' confounding features. In this work, we propose influence tuning---a procedure that leverages model interpretations to update the model parameters towards a plausible interpretation (rather than an interpretation that relies on spurious patterns in the data) in addition to learning to predict the task labels. We show that in a controlled setup, influence tuning can help deconfounding the model from spurious patterns in data, significantly outperforming baseline methods that use adversarial training.