تقييم أساليب الرافية لنماذج اللغة العصبية

تستخدم أساليب الرالف على نطاق واسع لتفسير تنبؤات الشبكة العصبية، ولكن غالبا ما تعارض أساليب أنواع مختلفة من الأساليب المختلفة حتى في تفسيرات نفس التنبؤ الذي أدلى به نفس النموذج. في هذه الحالات، كيف يمكننا تحديد متى تكون هذه التفسيرات جديرة بالثقة بما يكفي لاستخدامها في التحليلات؟ لمعالجة هذا السؤال، نقوم بإجراء تقييم شامل وكمي لأساليب الرالف في فئة أساسية من نماذج NLP: نماذج اللغة العصبية. نقيم جودة تفسيرات التنبؤ من وجهات نظر اثنين يمثل كل منها خاصية مرغوبة لهذه التفسيرات: المعقولية والإخلاص. يتم إجراء تقييمنا على أربع مجموعات بيانات مختلفة تم بناؤها من الشرح البشري الحالي للاتفاقات النحوية واللالسة، على مستوى الحكم على مستوى الحكم والوثائق. من خلال تقييمنا، حددنا طرق مختلفة من الطرق التي يمكن أن تسفر عن تفسيرات ذات جودة منخفضة. نوصي بأن ينشر العمل المستقبلي لنشر هذه الأساليب إلى نماذج اللغة العصبية صحة تفسيراتها بعناية قبل رسم رؤى.

Saliency methods are widely used to interpret neural network predictions, but different variants of saliency methods often disagree even on the interpretations of the same prediction made by the same model. In these cases, how do we identify when are these interpretations trustworthy enough to be used in analyses? To address this question, we conduct a comprehensive and quantitative evaluation of saliency methods on a fundamental category of NLP models: neural language models. We evaluate the quality of prediction interpretations from two perspectives that each represents a desirable property of these interpretations: plausibility and faithfulness. Our evaluation is conducted on four different datasets constructed from the existing human annotation of syntactic and semantic agreements, on both sentence-level and document-level. Through our evaluation, we identified various ways saliency methods could yield interpretations of low quality. We recommend that future work deploying such methods to neural language models should carefully validate their interpretations before drawing insights.