تحقق هذه الورقة فيما إذا كانت قوة النماذج المدربة مسبقا على البيانات النصية، مثل Bert، يمكن نقلها إلى تطبيقات تصنيف تسلسل الرمز المميز.للتحقق من قابلية نقل النماذج المدربة مسبقا، نقوم باختبار النماذج المدربة مسبقا على مهام تصنيف النص مع معاني عدم تطابق الرموز، وبيانات تصنيف تسلسل التسلسل غير المدرسي في العالم الحقيقي، بما في ذلك الحمض الأميني والحمض النووي والموسيقى.نجد أنه حتى على البيانات غير النصية، تتخطى النماذج المدربة مسبقا على النص بشكل أسرع، وأداء أفضل من النماذج ذات الادعاء بشكل عشوائي، وأسوأ قليلا فقط من النماذج باستخدام المعرفة الخاصة بمهام المهام.نجد أيضا أن تمثيل النماذج المدربة مسبقا للنصوص وغير النصية تشترك في أوجه التشابه غير التافهة.