أصبح التحويل التعلم بناء على نماذج لغة المحترفين على كمية كبيرة من البيانات الخام نموذجا جديدا للوصول إلى الأداء الحديث في NLP. ومع ذلك، لا يزال من غير الواضح كيف ينبغي تطبيق هذا النهج لغات غير مرئية غير مشمولة بأي نموذج لغوي متعدد اللغات واسعة ناتجا، والذي يتم توفير كمية صغيرة فقط من البيانات الخام فقط. في هذا العمل، من خلال مقارنة النماذج متعددة اللغات وأنتغوية، نوضح أن هذه النماذج تتصرف بطرق متعددة على اللغات غير المرئية. تستفيد بعض اللغات بشكل كبير من تعلم التعلم والتصرف بالمثل إلى لغات موارد عالية مرتبطة ارتباطا وثيقا في حين أن الآخرين على ما يبدو لا. التركيز على الأخير، نظرا لأن هذا الفشل في النقل يرتبط إلى حد كبير بتأثير البرنامج النصي المستخدم لكتابة هذه اللغات. نظهر أن ترجمة هذه اللغات تعمل بشكل كبير على تحسين إمكانات نماذج اللغة متعددة اللغات على نطاق واسع في مهام المصب. توفر هذه النتيجة اتجاها واعدا نحو جعل هذه النماذج متعددة اللغات بشكل كبير مفيدة لمجموعة جديدة من اللغات غير المرئية.