تصف هذه الورقة نظامنا للمهمة 4 من Semeval-2021: قراءة الفهم من معنى مجردة (Recam).شاركنا في جميع المهام الفرعية حيث كان الهدف الرئيسي هو التنبؤ بكلمة مجردة مفقودة من بيان.نحن نضرب نماذج اللغة الملثمين المدربة مسبقا وهي بيرت وألبرت واستخدمت فرقة لهؤلا
ء كأنها نظامنا المقدمة على المراكز الفرعية 1 (إعادة التقييم - عقيدة) و Subtask 2 (إعادة التقييد - غير المعقدة).بالنسبة إلى Subtask 3 (تقاطع إعادة التقييد)، أرسلنا نموذج ألبرت لأنه يعطي أفضل النتائج.حاولنا نهج متعددة وجدنا أن النهج القائم على نمذجة اللغة الملثم (MLM) يعمل الأفضل.
