Deepblueai في مهمة Semeval-2021 1: تنبؤ التعقيد المعجمي مع نهج الفرقة العميقة

التعقيد المعجمي يلعب دورا مهما في فهم القراءة.لا يمكن استخدام تنبؤ التعقيد المعجمي (LCP) كجزء من أنظمة التبسيط المعجمية، ولكن أيضا كتطبيق مستقل لمساعدة الأشخاص على قراءة أفضل.تقدم هذه الورقة النظام الفائز الذي قدمناه إلى مهمة LCP المشتركة في Semeval 2021 القادرة على التعامل مع كل من المهام الفرعية.نقوم أولا بإجراء ضبط جيد على أرقام نماذج اللغة المدربة مسبقا (PLMS) مع العديد من أنواع التشنجات المختلفة واستراتيجيات التدريب المختلفة مثل وضع العلامات الزائفة والبيانات.ثم يتم تطبيق آلية تكديس فعالة على رأس Plms المصنفات الدقيقة للحصول على التنبؤ النهائي.تظهر النتائج التجريبية على مجموعة البيانات المعقدة صحة طريقتنا ونحن رتب أولا والثاني للمضمون الفرعي 2 و 1.

Lexical complexity plays an important role in reading comprehension. lexical complexity prediction (LCP) can not only be used as a part of Lexical Simplification systems, but also as a stand-alone application to help people better reading. This paper presents the winning system we submitted to the LCP Shared Task of SemEval 2021 that capable of dealing with both two subtasks. We first perform fine-tuning on numbers of pre-trained language models (PLMs) with various hyperparameters and different training strategies such as pseudo-labelling and data augmentation. Then an effective stacking mechanism is applied on top of the fine-tuned PLMs to obtain the final prediction. Experimental results on the Complex dataset show the validity of our method and we rank first and second for subtask 2 and 1.