حققت نماذج المحولات الحديثة أداء قويا على مجموعة متنوعة من مهام NLP.توظف العديد من هذه الأساليب مهام التدريب المرجعية للمجال لتدريب النماذج التي تسفر عن تمثيلات جماعية عالية للغاية يمكن أن تكون ذات صقل مهام محددة في المصب.نقترح تكرير نموذج NLP المدرب مسبقا باستخدام هدف الكشف عن الرموز المخلوطة.نستخدم نهج متسلسل من خلال بدء تشغيل نموذج روبرتا المدرب مسبقا وتدريبه باستخدام نهجنا.تطبيق استراتيجية خلط عشوائية على مستوى الكلمة، وجدنا أن نهجنا يتيح لنموذج روبرتا يحقق أداء أفضل في 4 من أصل 7 مهام الغراء.تشير نتائجنا إلى أن تعلم الكشف عن الرموز المنفصلة هو نهج واعد لمعرفة المزيد من تمثيلات الجملة متماسكة.