التحقيق نماذج لغة متعددة اللغات للخطوط

أصبحت نماذج اللغة متعددة اللغات المدربة مسبقا كتلة مبنى مهمة في معالجة اللغة الطبيعية متعددة اللغات.في الورقة الحالية، نحقق في مجموعة من هذه النماذج لمعرفة مدى نقل المعرفة على مستوى الخطاب عبر اللغات.يتم ذلك بتقييم منهجي على مجموعة أوسع من مهام مستوى الخطاب مما تم تجميعه مسبقا.نجد أن عائلة XLM-Roberta من نماذج تظهر باستمرار أفضل أداء، من خلال نماذج أحادية جيدة جيدة في وقت واحد ومهينة القليل نسبيا في إعداد طلقة صفرية.تشير نتائجنا أيضا إلى أن التقطير النموذجي قد تؤذي قدرة النقل عبر اللغات من تمثيل الجملة، في حين أن الاختلاف اللغوي على الأكثر تأثير متواضع.نأمل أن يكون جناح اختبارنا، الذي يغطي 5 مهام مع ما مجموعه 22 لغة في 10 أسر متميزة، بمثابة منصة تقييم مفيدة للأداء متعدد اللغات في مستوى الجملة وما بعدها.

Pre-trained multilingual language models have become an important building block in multilingual Natural Language Processing. In the present paper, we investigate a range of such models to find out how well they transfer discourse-level knowledge across languages. This is done with a systematic evaluation on a broader set of discourse-level tasks than has been previously been assembled. We find that the XLM-RoBERTa family of models consistently show the best performance, by simultaneously being good monolingual models and degrading relatively little in a zero-shot setting. Our results also indicate that model distillation may hurt the ability of cross-lingual transfer of sentence representations, while language dissimilarity at most has a modest effect. We hope that our test suite, covering 5 tasks with a total of 22 languages in 10 distinct families, will serve as a useful evaluation platform for multilingual performance at and beyond the sentence level.