الكشف عن الكشف عن التراجع عن تحسين روبرتا المدرب مسبقا

حققت نماذج المحولات الحديثة أداء قويا على مجموعة متنوعة من مهام NLP.توظف العديد من هذه الأساليب مهام التدريب المرجعية للمجال لتدريب النماذج التي تسفر عن تمثيلات جماعية عالية للغاية يمكن أن تكون ذات صقل مهام محددة في المصب.نقترح تكرير نموذج NLP المدرب مسبقا باستخدام هدف الكشف عن الرموز المخلوطة.نستخدم نهج متسلسل من خلال بدء تشغيل نموذج روبرتا المدرب مسبقا وتدريبه باستخدام نهجنا.تطبيق استراتيجية خلط عشوائية على مستوى الكلمة، وجدنا أن نهجنا يتيح لنموذج روبرتا يحقق أداء أفضل في 4 من أصل 7 مهام الغراء.تشير نتائجنا إلى أن تعلم الكشف عن الرموز المنفصلة هو نهج واعد لمعرفة المزيد من تمثيلات الجملة متماسكة.

State-of-the-art transformer models have achieved robust performance on a variety of NLP tasks. Many of these approaches have employed domain agnostic pre-training tasks to train models that yield highly generalized sentence representations that can be fine-tuned for specific downstream tasks. We propose refining a pre-trained NLP model using the objective of detecting shuffled tokens. We use a sequential approach by starting with the pre-trained RoBERTa model and training it using our approach. Applying random shuffling strategy on the word-level, we found that our approach enables the RoBERTa model achieve better performance on 4 out of 7 GLUE tasks. Our results indicate that learning to detect shuffled tokens is a promising approach to learn more coherent sentence representations.