المهمة المشتركة في Rocling-2021: بناء على Bert و Macbert

تقدم هذه الورقة وصفا للمهمة المشتركة Rocling 2021 في تحليل المعنويات الأبعاد للنصوص التعليمية.قدمنا اثنين من أشواط في الاختبار النهائي.كلا يدير يستخدم نموذج الانحدار القياسي.يستخدم Run1 الإصدار الصيني من Bert كقاعدة، وفي Run2 نستخدم الإصدار المبكر من Macbert أن النسخة الصينية من نموذج روبرتا يشبه BERT، Roberta-WWM-Ext.باستخدام نموذج قوي قبل التدريب من بيرت لتضمين النص للمساعدة في تدريب النموذج.

This paper present a description for the ROCLING 2021 shared task in dimensional sentiment analysis for educational texts. We submitted two runs in the final test. Both runs use the standard regression model. The Run1 uses Chinese version of BERT as the base, and in Run2 we use the early version of MacBERT that Chinese version of RoBERTa-like BERT model, RoBERTa-wwm-ext. Using powerful pre-training model of BERT for text embedding to help train the model.