Semeval 2021 المهمة 7: Hahackathon والكشف عن الفكاهة والجريمة

Semeval 2021 المهمة 7، Hahackathon، كانت أول مهمة مشتركة للجمع بين المجالات المنفصلة سابقا من الكشف عن الفكاهة والكشف عن الجريمة. جمعنا 10000 نص من تويتر ومجموعات بيانات النكات القصيرة في Kaggle، وكان كل منها مشروح من الفكاهة والجريمة بمقدار 20 حديثا في سن 18-70. كانتنا فرعيتنا الفرعية للكشف عن الفكاهة الثنائية، والتنبؤ بتصنيفات الفكاهة والجريمة، ومهمة جدل جديدة: للتنبؤ إذا كان التباين في تصنيفات الفكاهة أعلى من عتبة محددة. جذبت المهن الفرعية 36-58 طلبا، مع اختيار معظم المشاركين استخدام نماذج اللغة المدربة مسبقا. كما نفذت العديد من الفرق الأعلى الأداء تقنيات تحسين إضافية، بما في ذلك التدريب على المهام على التكيف والتدريب الخصم. تشير النتائج إلى أن النظم المشاركة مناسبة تماما للكشف عن الفكاهة، ولكن هذه الخلافات الفكاهة مهمة أكثر تحديا. نناقش النماذج التي تتفوق في هذه المهمة، والتي تعزز التقنيات الإضافية أدائها، وتحليل الأخطاء التي لم يتم التقاطها من قبل أفضل الأنظمة.

SemEval 2021 Task 7, HaHackathon, was the first shared task to combine the previously separate domains of humor detection and offense detection. We collected 10,000 texts from Twitter and the Kaggle Short Jokes dataset, and had each annotated for humor and offense by 20 annotators aged 18-70. Our subtasks were binary humor detection, prediction of humor and offense ratings, and a novel controversy task: to predict if the variance in the humor ratings was higher than a specific threshold. The subtasks attracted 36-58 submissions, with most of the participants choosing to use pre-trained language models. Many of the highest performing teams also implemented additional optimization techniques, including task-adaptive training and adversarial training. The results suggest that the participating systems are well suited to humor detection, but that humor controversy is a more challenging task. We discuss which models excel in this task, which auxiliary techniques boost their performance, and analyze the errors which were not captured by the best systems.