ربط الوثائق وسلوك نموذج ضمان الجودة في واقعية

عندما يبرز تقنية إسناد نموذجية جزءا خاصا من المدخلات، قد يفهم المستخدم هذا الضوء على أنه بيان حول Worklactuals (Miller، 2019): إذا كان هذا الجزء من الإدخال هو التغيير، فقد يتغير تنبؤ النموذج أيضا. تحقق هذه الورقة في مدى توافق تقنيات الإسناد المختلفة مع هذا الافتراض على مواجهة بشكل واقعي في حالة قراءة الفهم (RC). RC هي حالة اختبار صعبة بشكل خاص، كأداة مستوية على مستوى الرمز المميز الذي تم دراسته على نطاق واسع في مهام NLP الأخرى مثل تحليل المعرفات أقل مناسبا لتمثيل التفكير الذي تؤدي نماذج RC. نقوم بإنشاء مجموعات مضادة لثلاث إعدادات RC مختلفة، ومن خلال الاستدلال التي يمكنها توصيل نواتج أساليب الإسناد إلى سلوك نموذج رفيع المستوى، يمكننا تقييم مدى فائدة أساليب الإسناد المختلفة وحتى التنسيقات المختلفة لفهم الوسائل المتعددة. نجد أن نسبة الزوجية أكثر ملاءمة بشكل أفضل ل RC من سمات المستوى الرمز المميز عبر هذه الإعدادات المختلفة RC، مع أفضل أدائنا القادم من التعديل الذي نقترحه لطريقة إسناد الزوجية الحالية.

When a model attribution technique highlights a particular part of the input, a user might understand this highlight as making a statement about counterfactuals (Miller, 2019): if that part of the input were to change, the model's prediction might change as well. This paper investigates how well different attribution techniques align with this assumption on realistic counterfactuals in the case of reading comprehension (RC). RC is a particularly challenging test case, as token-level attributions that have been extensively studied in other NLP tasks such as sentiment analysis are less suitable to represent the reasoning that RC models perform. We construct counterfactual sets for three different RC settings, and through heuristics that can connect attribution methods' outputs to high-level model behavior, we can evaluate how useful different attribution methods and even different formats are for understanding counterfactuals. We find that pairwise attributions are better suited to RC than token-level attributions across these different RC settings, with our best performance coming from a modification that we propose to an existing pairwise attribution method.