Ochadai-Kyoto في مهمة Semeval-2021 1: تعزيز التعميم النموذجي والمتانة لتنبؤ التعقيد المعجمي


الملخص بالعربية

نقترح نموذج فرقة للتنبؤ بالتعقيد المعجمي للكلمات وتعبيرات متعددة الكلمات (MWES).يتلقى النموذج كإدخال جملة بكلمة مستهدفة أو MWE وتخرج درجة التعقيد.بالنظر إلى أن التحدي الرئيسي مع هذه المهمة هو الحجم المحدود للبيانات المشروح، يعتمد نموذجنا على تمثيلات السياقية المحددة مسبقا من نماذج اللغة القائمة على المحولات المختلفة (IE، Bert and Roberta)، وعلى مجموعة متنوعة منطرق التدريب لمزيد من تعزيز التعميم النموذجي والترويج: التعلم متعدد الخطوات من الترابط والتعلم متعدد المهام، والتدريب الخصم.بالإضافة إلى ذلك، نقترح إثراء التمثيلات السياقية بإضافة ميزات مصنوعة يدوية أثناء التدريب.حقق نموذجنا نتائج تنافسية ومرتبة بين أنظمة أفضل 10 في كلتا المهام الفرعية.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث