Ghost في Semeval-2021 المهمة 5: هل تفسير كل ما تحتاجه؟

تتناول هذه الورقة مناهج مختلفة لمهمة الكشف عن المسيح السامة. كانت المشكلة التي تطرحتها المهمة هي تحديد الكلمات التي تساهم في الغالب في الاعتراف بالوثيقة السامة. على عكس التصنيف الثنائي للنصوص بأكملها، يمكن أن يكون التقييم على مستوى الكلمات استخداما كبيرا خلال الاعتدال التعليق، والسماح أيضا بفهم أكثر متعمقا من تنبؤات النموذج. نظرا لأن الهدف الرئيسي هو ضمان الشفافية والتفاهم، تركز هذه الورقة على النهج الحالية للدولة الحالية بناء على مفاهيم منظمة العفو الدولية القابلة للتفسير ويقارنها بحل تعليمي مشارضة مع تسميات مستوى الكلمات. يتكون العمل من أساليب Xai التي توفر توضيحا تلقائيا للنماذج المدربة للتصنيف الثنائي للوثائق السامة: نموذج LSTM مع الاهتمام كهدوء خاص بالنماذج وقيم SHOPLEY لتفسير تنبؤات برت كطريقة نموذجية للنموذج. تعتبر النهج المتنافس هذه المشكلة كتصنيف رمزي تحت إشراف، حيث تم اختبار النماذج مثل بيرت وتعديلاتها. تهدف الورقة إلى استكشاف وقارن وتقييم جودة التنبؤات بطرق مختلفة في المهمة. كما تمت مناقشة مزايا كل نهج وإشراف البحث الإضافي أيضا.

This paper discusses different approaches to the Toxic Spans Detection task. The problem posed by the task was to determine which words contribute mostly to recognising a document as toxic. As opposed to binary classification of entire texts, word-level assessment could be of great use during comment moderation, also allowing for a more in-depth comprehension of the model's predictions. As the main goal was to ensure transparency and understanding, this paper focuses on the current state-of-the-art approaches based on the explainable AI concepts and compares them to a supervised learning solution with word-level labels. The work consists of two xAI approaches that automatically provide the explanation for models trained for binary classification of toxic documents: an LSTM model with attention as a model-specific approach and the Shapley values for interpreting BERT predictions as a model-agnostic method. The competing approach considers this problem as supervised token classification, where models like BERT and its modifications were tested. The paper aims to explore, compare and assess the quality of predictions for different methods on the task. The advantages of each approach and further research direction are also discussed.