SarcasmDet at SemEval-2021 Task 7: Detect Humor and Offensive based on Demographic Factors using RoBERTa Pre-trained Model

تقدم هذه الورقة أحد أنظمة المحلول الفائزة الأعلى للمهمة 7 في Semeval2021، Hahackathon: الكشف عن الفكاهة والعموم. تنقسم هذه المسابقة إلى مهام اثنين، Task1 مع ثلاث مهام فرعية 1A، 1B، و 1C، و TASK2. الهدف من المهمة 1 هو التنبؤ إذا كان النص يعتبر روح الدعابة أم لا، وإذا كان الأمر نعم، فقم بالتنبؤ بمكام روح الدعابة وما إذا كان التصنيف فكاهة سيكون مثيرا للجدل. الهدف من المهمة 2 هو التنبؤ بكيفية اعتبار النص مسيئا للمستخدمين بشكل عام. تم تطوير حلنا باستخدام نموذج روبرتا المدرب مسبقا مع تقنيات الفرقة. تصف الورقة بنية نظام الحل المقدم مع التجارب وضبط فرط الضغط الذي أدى إلى هذا النظام القوي. في المرتبة النموذجية المرتبة الثالثة والرابعة من 50 فريقا في المهام 1C و 1A مع درجة F1 0.6270 و 0.9675 على التوالي. في الوقت نفسه، احتل النموذج واحدا من أفضل 10 نماذج في المهمة 1B والمهمة 2 مع درجات RMSE من 0.5446 و 0.4469 على التوالي.

This paper presents one of the top winning solution systems for task 7 at SemEval2021, HaHackathon: Detecting and Rating Humor and Offense. This competition is divided into two tasks, task1 with three sub-tasks 1a,1b, and 1c, and task2. The goal for task1 is to predict if the text would be considered humorous or not, and if it is yes, then predict how humorous it is and whether the humor rating would be perceived as controversial. The goal of the task2 is to predict how the text is considered offensive for users in general. Our solution has been developed using RoBERTa pre-trained model with ensemble techniques. The paper describes the submitted solution system's architecture with the experiments and the hyperparameter tuning that led to this robust system. Our model ranked third and fourth places out of 50 teams in tasks 1c and 1a with F1-Score of 0.6270 and 0.9675, respectively. At the same time, the model ranked one of the top 10 models in task 1b and task 2 with an RMSE scores of 0.5446 and 0.4469, respectively.