أصبحت نماذج اللغة متعددة اللغات المدربة مسبقا كتلة مبنى مهمة في معالجة اللغة الطبيعية متعددة اللغات.في الورقة الحالية، نحقق في مجموعة من هذه النماذج لمعرفة مدى نقل المعرفة على مستوى الخطاب عبر اللغات.يتم ذلك بتقييم منهجي على مجموعة أوسع من مهام مستوى الخطاب مما تم تجميعه مسبقا.نجد أن عائلة XLM-Roberta من نماذج تظهر باستمرار أفضل أداء، من خلال نماذج أحادية جيدة جيدة في وقت واحد ومهينة القليل نسبيا في إعداد طلقة صفرية.تشير نتائجنا أيضا إلى أن التقطير النموذجي قد تؤذي قدرة النقل عبر اللغات من تمثيل الجملة، في حين أن الاختلاف اللغوي على الأكثر تأثير متواضع.نأمل أن يكون جناح اختبارنا، الذي يغطي 5 مهام مع ما مجموعه 22 لغة في 10 أسر متميزة، بمثابة منصة تقييم مفيدة للأداء متعدد اللغات في مستوى الجملة وما بعدها.