On the cross-lingual transferability of multilingual prototypical models across NLU tasks

تم تطبيق نهج التعلم العميقة الخاضعة للإشراف على مربع الحوار الموجه في المهام وأثبت أنها فعالة لتطبيقات المجال واللغة المحدودة عند توفر عدد كاف من الأمثلة التدريبية. في الممارسة العملية، تعاني هذه الأساليب من عيوب التصميم الذي يحركه المجال ولغات أقل من الموارد. من المفترض أن تنمو نماذج المجال واللغة وتتغير مع تطور مساحة المشكلة. من ناحية، أظهرت الأبحاث حول تعلم التعلم القدرة المتبادلة من النماذج القائمة على المحولات متعددة اللغات لتعلم تمثيلات غنية بالدليل. من ناحية أخرى، بالإضافة إلى الأساليب المذكورة أعلاه، مكنت التعلم التلوي تطوير خوارزميات التعلم المهمة واللغة القادرة على تعميم البعيد. من خلال هذا السياق، تقترح هذه المقالة التحقيق في التحويل عبر اللغات المتبادلة باستخدام التعلم القليل من التآزر مع الشبكات العصبية النموذجية والنماذج القائمة على المحولات متعددة اللغات. تجارب في مجال التفاهم الطبيعي فهم المهام على Multiatis + Corpus يدل على أن نهجنا يحسن بشكل كبير من العروض التعليمية الملحقة بالتنقل بين لغات الموارد المنخفضة والعالية. بشكل عام، تؤكد نهجنا بشكل عام أن المساحة الكامنة ذات الأغلب المستفادة في لغة معينة يمكن تعميمها للتسامح غير المرئي وغير الموارد باستخدام التعلم التلوي.

Supervised deep learning-based approaches have been applied to task-oriented dialog and have proven to be effective for limited domain and language applications when a sufficient number of training examples are available. In practice, these approaches suffer from the drawbacks of domain-driven design and under-resourced languages. Domain and language models are supposed to grow and change as the problem space evolves. On one hand, research on transfer learning has demonstrated the cross-lingual ability of multilingual Transformers-based models to learn semantically rich representations. On the other, in addition to the above approaches, meta-learning have enabled the development of task and language learning algorithms capable of far generalization. Through this context, this article proposes to investigate the cross-lingual transferability of using synergistically few-shot learning with prototypical neural networks and multilingual Transformers-based models. Experiments in natural language understanding tasks on MultiATIS++ corpus shows that our approach substantially improves the observed transfer learning performances between the low and the high resource languages. More generally our approach confirms that the meaningful latent space learned in a given language can be can be generalized to unseen and under-resourced ones using meta-learning.