تقدم هذه الورقة نظام الفوز لفريق بالي لمهمة SEMEVAL-2021 2: غزالة متعددة اللغات والتبلغة في السياق.نحن نغتنم نموذج XLM-Roberta لحل مهمة Word في حالة غموض السياق، أي، لتحديد ما إذا كانت الكلمة المستهدفة في السياقتين تحتوي على نفس المعنى أم لا.في التنف
يذ، نقوم أولا بتصميم علامة الإدخال أولا للتأكيد على الكلمة المستهدفة في السياقات.ثانيا، نقوم بإنشاء متجه جديد على المدينات الدقيقة من XLM-Roberta وأعلفه بشبكة متصلة بالكامل لإخراج احتمال ما إذا كانت الكلمة المستهدفة في السياق لها نفس المعنى أم لا.يتم تحقيق المتجهات الجديد من خلال التمسك بتضمين الرمز المميز [CLS] ومذكرات الكلمة المستهدفة في السياقات.في التدريب، نستكشف العديد من الحيل، مثل محسن الحارس، وتعزيز البيانات، والتدريب الخصم، لتحسين التنبؤ النموذجي.وبالتالي، فإننا نحصل على المركز الأول في جميع المهام الأربعة عبر اللغات.
