BERT meets Shapley: Extending SHAP Explanations to Transformer-based Classifiers

توفر الشبكات العصبية القائمة على المحولات أداء تصنيف جيد للغاية عبر مجموعة واسعة من المجالات، لكن لا تقدم تفسيرات توقعاتها.في حين أن العديد من طرق التفسير، بما في ذلك الشكل، فإن معالجة مشكلة تفسير نماذج التعلم العميق، لا تتكيف معها للعمل على الشبكات العصبية القائمة على أحدث الأحوال مثل بيرت.مقرر آخر لهذه الطرق هو أن تصور التفسيرات الخاصة بهم في شكل قوائم من الكلمات الأكثر صلة لا يأخذ في الاعتبار الطبيعة المتسلسلة والهيكلية للنص.تقترح هذه الورقة طريقة TransShap التي تتكيف مع النماذج المحول بما في ذلك مصنفات النص المستند إلى BERT.تتقدم تصورات الشكل من خلال إظهار التفسيرات بطريقة متتالية، وتقييمها من قبل المقيمين البشري كمنافسة للحلول الحديثة.

Transformer-based neural networks offer very good classification performance across a wide range of domains, but do not provide explanations of their predictions. While several explanation methods, including SHAP, address the problem of interpreting deep learning models, they are not adapted to operate on state-of-the-art transformer-based neural networks such as BERT. Another shortcoming of these methods is that their visualization of explanations in the form of lists of most relevant words does not take into account the sequential and structurally dependent nature of text. This paper proposes the TransSHAP method that adapts SHAP to transformer models including BERT-based text classifiers. It advances SHAP visualizations by showing explanations in a sequential manner, assessed by human evaluators as competitive to state-of-the-art solutions.