IITK @ Detox في Semeval-2021 المهمة 5: التعلم شبه الإشرافه وفقدان النرد للكشف عن الأمور السامة

في هذا العمل، نقدم نهجنا ونتائجنا لمهمة Semeval-2021 للكشف عن الفقاعات السامة.كان الهدف الرئيسي للمهمة هو تحديد المواقيات التي يمكن أن تعزى سمية نص معين.المهمة تحديا أساسا بسبب قيود اثنين: مجموعة بيانات التدريب الصغيرة وتوزيع الفئة غير المتوازنة.تقوم ورقتنا بالتحقيق في تقنيين، وتعلم شبه إشراف وتعلم مع فقدان النرد ضبط النفس، لمعالجة هذه التحديات.يتألف نظامنا المقدم (المرتبة التاسعة على متن القائد) من مجموعة من مختلف نماذج اللغة المحولات المدربة مسبقا تدربت باستخدام أي من التقنيات المذكورة أعلاه.

In this work, we present our approach and findings for SemEval-2021 Task 5 - Toxic Spans Detection. The task's main aim was to identify spans to which a given text's toxicity could be attributed. The task is challenging mainly due to two constraints: the small training dataset and imbalanced class distribution. Our paper investigates two techniques, semi-supervised learning and learning with Self-Adjusting Dice Loss, for tackling these challenges. Our submitted system (ranked ninth on the leader board) consisted of an ensemble of various pre-trained Transformer Language Models trained using either of the above-proposed techniques.