متى ولماذا فشل نموذج؟إطار كشف خطأ للإنسان في حلقة تحليل المعرفات

على الرغم من أن الشبكات العصبية العميقة تعمل على نطاق واسع وأثبت فعاليتها في مهام تحليل المعنويات، إلا أنها تظل تحديا للمطورين النموذجيين لتقييم نماذجهم من أجل التنبؤات الخاطئة التي قد تكون موجودة قبل النشر.بمجرد النشر، يمكن أن يكون من الصعب تحديد الأخطاء الطارئة في وقت التشغيل التنبؤ ومستحيل تتبع مصادرها.لمعالجة هذه الثغرات، في هذه الورقة نقترح إطار اكتشاف خطأ لتحليل المعرفات بناء على ميزات تفسير.نحن نؤدي التحقق من صحة ميزة المستوى العالمي مع تقييم الإنسان في حلقة، تليها تكامل تحليل المساهمة العالمية والمستوى المحلي.تظهر النتائج التجريبية أنه نظرا للتدخل المحدود للإنسان في الحلقة، فإن طريقتنا قادرة على تحديد تنبؤات النموذج الخاطئة على البيانات غير المرئية بدقة عالية.

Although deep neural networks have been widely employed and proven effective in sentiment analysis tasks, it remains challenging for model developers to assess their models for erroneous predictions that might exist prior to deployment. Once deployed, emergent errors can be hard to identify in prediction run-time and impossible to trace back to their sources. To address such gaps, in this paper we propose an error detection framework for sentiment analysis based on explainable features. We perform global-level feature validation with human-in-the-loop assessment, followed by an integration of global and local-level feature contribution analysis. Experimental results show that, given limited human-in-the-loop intervention, our method is able to identify erroneous model predictions on unseen data with high precision.