في هذه الورقة، نصف نظامنا المستخدمة في مهمة Semeval 2021 5: الكشف عن الأمور السامة.ينتهك نظامنا المقترح من مشكلة مهمة تصنيف رمزية.قمنا بتدريب نموذجنا للعثور على كلمات سامة وتسلسل يمتد إلى التنبؤ باليوفق السام في غضون جملة.نحن نطبات نماذج اللغة المدربة مسبقا (PLMS) لتحديد الكلمات السامة.بالنسبة للضبط الدقيق، كدغ طبقة التصنيف أعلى ميزات PLM لكل كلمة لتصنيفها إذا كانت سامة أم لا.يتم تدريب PLMS مسبقا على استخدام أهداف مختلفة وقد يختلف أدائها في مهام المصب.لذلك، قارن أداء بيرت، Electra، روبرتا، XLM-ROBERTA، T5، XLNET، و MPNET لتحديد المواقف السامة في غضون جملة.أفضل نظام أداء لدينا يستخدم روبرتا.أداء جيدا، وتحقيق درجة F1 من 0.6841 وتأمين مرتبة 16 على المتصدرين الرسميين.