توصيف خطأ المساءلة

يطلب عملاء أنظمة التعلم الآلية المساءلة من الشركات التي توظف هذه الخوارزميات لمهام التنبؤ المختلفة. تتطلب المساءلة فهم حدود النظام وحالة التنبؤات الخاطئة، حيث غالبا ما يهتم العملاء بفهم التنبؤات غير الصحيحة، يتم امتصاص المطورين النموذجيين في العثور على طرق يمكن استخدامها للحصول على تحسينات تدريجية على نظام موجود. لذلك، نقترح طريقة توصيف خطأ مسؤولة، AEC، لفهم متى وحيث تحدث الأخطاء ضمن النماذج النسخة السوداء الموجودة. يسمح AEC، كما شيدت مع ميزات لغوية مفهومة للإنسان، المطورين النموذجيين لتحديد المصادر الرئيسية تلقائيا من الأخطاء لنظام تصنيف معين. يمكن استخدامه أيضا للعينة لمجموعة نقاط الإدخال الأكثر تفاعيمية في الجولة التالية من التدريب. نقوم بإجراء اكتشاف خطأ لمهمة تحليل المعنويات باستخدام AEC كدراسة حالة. تظهر نتائجنا على مهمة مشاعر العينة أن AEC قادر على تمييز التنبؤات الخاطئة في فئات غير قابلة للفطرة البشرية وتحقق أيضا نتائج واعدة على اختيار العينات الخاطئة بالمقارنة مع أخذ العينات القائمة على عدم اليقين.

Customers of machine learning systems demand accountability from the companies employing these algorithms for various prediction tasks. Accountability requires understanding of system limit and condition of erroneous predictions, as customers are often interested in understanding the incorrect predictions, and model developers are absorbed in finding methods that can be used to get incremental improvements to an existing system. Therefore, we propose an accountable error characterization method, AEC, to understand when and where errors occur within the existing black-box models. AEC, as constructed with human-understandable linguistic features, allows the model developers to automatically identify the main sources of errors for a given classification system. It can also be used to sample for the set of most informative input points for a next round of training. We perform error detection for a sentiment analysis task using AEC as a case study. Our results on the sample sentiment task show that AEC is able to characterize erroneous predictions into human understandable categories and also achieves promising results on selecting erroneous samples when compared with the uncertainty-based sampling.