Metaxl: التحول التمثيل META للحصول على التعلم الصليب اللغوي المنخفض

مزيج من التمثيلات المتعددة اللغات المدربة مسبقا وتعلم النقل عبر اللغات هو أحد أكثر الطرق فعالية لبناء أنظمة NLP الوظيفية لغات الموارد المنخفضة. ومع ذلك، بالنسبة لغات الموارد المنخفضة للغاية دون نطاق واسع النطاق لأحادية النطاق للتدريب المسبق أو البيانات المشروحة المكافحة للضبط بشكل جيد، لا يزال التعلم التحويل مهمة مفهومة وصعبة. علاوة على ذلك، يوضح العمل الحديث أن تمثيلات متعددة اللغات هي بفك الشفقة على اللغات، مما جلب تحديات إضافية للتحويل إلى لغات الموارد المنخفضة للغاية. في هذه الورقة، نقترح metaxl، إطار التعلم التعلم التعلم الذي يتعلم تحويل التمثيلات بحكمة من اللغات المساعدة إلى هدف واحد ويجلب مساحات تمثيلها أقرب إلى النقل الفعال. تجارب مكثفة على لغات الموارد المنخفضة في العالم الحقيقي - دون الوصول إلى كورسا أحادية واسعة النطاق أو كميات كبيرة من البيانات المسمى - للمهام مثل تحليل المشاعر المتبادلة والاعتراف كيان المسمى إظهار فعالية نهجنا. رمز Metaxl متوفر علنا ​​في github.com/microsoft/metaxl.

The combination of multilingual pre-trained representations and cross-lingual transfer learning is one of the most effective methods for building functional NLP systems for low-resource languages. However, for extremely low-resource languages without large-scale monolingual corpora for pre-training or sufficient annotated data for fine-tuning, transfer learning remains an understudied and challenging task. Moreover, recent work shows that multilingual representations are surprisingly disjoint across languages, bringing additional challenges for transfer onto extremely low-resource languages. In this paper, we propose MetaXL, a meta-learning based framework that learns to transform representations judiciously from auxiliary languages to a target one and brings their representation spaces closer for effective transfer. Extensive experiments on real-world low-resource languages -- without access to large-scale monolingual corpora or large amounts of labeled data -- for tasks like cross-lingual sentiment analysis and named entity recognition show the effectiveness of our approach. Code for MetaXL is publicly available at github.com/microsoft/MetaXL.