ABCBPC في مهمة Semeval-2021: نموذج متعدد المهام القائمة على إرني للكشف عن الفكاهة والجريمة

تصف هذه الورقة نظامنا المشارك في المهمة 7 من Semeval-2021: الكشف عن الفكاهة والجريمة.تم تصميم المهمة للكشف عن الفكاهة والجريمة التي تتأثر بالعوامل الذاتية.من أجل الحصول على معلومات دلالية من كمية كبيرة من البيانات غير المسبقة، طبقنا نماذج اللغة المدربة مسبقا غير مدبونة.من خلال إجراء البحوث والتجارب، وجدنا أن نماذج Ernie 2.0 و Deberta مدربة مسبقا حققت أداء مثير للإعجاب في مختلف المهام الفرعية.لذلك، طبقنا النماذج المدربة مسبقا أعلاه لضبط الشبكة العصبية المصب.في عملية ضبط النموذج بشكل جيد، اعتمكن من استراتيجية التدريب المتعدد المهام وطريقة تعلم الفرقة.استنادا إلى الاستراتيجية والطريقة المذكورة أعلاه، حققنا RMSE 0.4959 ل SubTask 1B، وفاز أخيرا في المقام الأول.

This paper describes our system participated in Task 7 of SemEval-2021: Detecting and Rating Humor and Offense. The task is designed to detect and score humor and offense which are influenced by subjective factors. In order to obtain semantic information from a large amount of unlabeled data, we applied unsupervised pre-trained language models. By conducting research and experiments, we found that the ERNIE 2.0 and DeBERTa pre-trained models achieved impressive performance in various subtasks. Therefore, we applied the above pre-trained models to fine-tune the downstream neural network. In the process of fine-tuning the model, we adopted multi-task training strategy and ensemble learning method. Based on the above strategy and method, we achieved RMSE of 0.4959 for subtask 1b, and finally won the first place.