في هذه الورقة، نصف نظامنا المقدم إلى Semeval 2021 المهمة 7: hahackathon: الكشف عن الفكاهة والعموم. تهدف المهمة إلى التنبؤ بما إذا كان النص المحدد مضحك، فإن التصنيف الفكاهي المتوسط الذي قدمه المعلقون، وما إذا كان تصنيف فكاهة مثيرة للجدل. بالإضافة إل
ى ذلك، تتضمن المهمة أيضا التنبؤ بمدى مسيئة النص. يتبنى نهجنا بنية Deberta مع آلية اهتمام DESRTANGLED، حيث يتم احتساب درجات الاهتمام بين الكلمات بناء على ناقلات المحتوى ونوافذ المنافذ النسبي. استفادنا أيضا من النماذج اللغوية المدربة مسبقا وصنع نموذج Deberta على جميع المهام الفرعية الأربعة. جربنا العديد من الهياكل التي تشبه بيرت ووجدت أن نموذج Deberta الكبير يعمل بشكل أفضل بشكل أفضل. خلال مرحلة التقييم، حقق نظامنا درجة F 0.9480 على الفرقة الفرعية 1A، ورمز من 0.5510 على الفرقة الفرعية 1B، درجة F 0.4764 على المراكب الفرعية 1C، و RMSE من 0.4230 على الفئة الفرعية 2A (المرتبة 3 على المتصدرين ).
