تقدم هذه الورقة وصفا للمهمة المشتركة Rocling 2021 في تحليل المعنويات الأبعاد للنصوص التعليمية.قدمنا اثنين من أشواط في الاختبار النهائي.كلا يدير يستخدم نموذج الانحدار القياسي.يستخدم Run1 الإصدار الصيني من Bert كقاعدة، وفي Run2 نستخدم الإصدار المبكر من Macbert أن النسخة الصينية من نموذج روبرتا يشبه BERT، Roberta-WWM-Ext.باستخدام نموذج قوي قبل التدريب من بيرت لتضمين النص للمساعدة في تدريب النموذج.