RG PA في مهمة Semeval-2021 1: نموذج استناد عن الاهتمام السياقي مع روبرتا لتنبؤ التعقيد المعجمي

في هذه الورقة، نقترح نموذجا مقرا له عناية سياقية مع تدريبات دقيقة على مرحلتين باستخدام روبرتا.أولا، نقوم بإجراء النغمة الجميلة في المرحلة الأولى على Corpus مع روبرتا، بحيث يمكن للنموذج أن يتعلم بعض المعرفة المسبقة المجال.ثم نحصل على التضمين السياقي بكلمات السياق بناء على التضمين على مستوى الرمز المميز مع النموذج الدقيق.ونحن نستخدم KFOFT التحقق من الصحة للحصول على نماذج K وفرقة لهم للحصول على النتيجة النهائية.أخيرا، نحن نحصل على المركز الثاني في مرحلة التقييم النهائي من المهمة الفرعية 2 مع ارتباط بيرسون ب 0.8575.

In this paper we propose a contextual attention based model with two-stage fine-tune training using RoBERTa. First, we perform the first-stage fine-tune on corpus with RoBERTa, so that the model can learn some prior domain knowledge. Then we get the contextual embedding of context words based on the token-level embedding with the fine-tuned model. And we use Kfold cross-validation to get K models and ensemble them to get the final result. Finally, we attain the 2nd place in the final evaluation phase of sub-task 2 with pearson correlation of 0.8575.