X-Metra-ADA: التكيف التعريفي لتعليم التعلم عبر Ling-Lingual إلى فهم اللغة الطبيعية والرد على الإجابة

اكتسبت النماذج متعددة اللغات، مثل M-Bert و XLM-R، شعبية متزايدة، بسبب قدرات التعلم الصفرية عبر اللغات. ومع ذلك، فإن قدرة تعميمها لا تزال غير متسقة للغات المتنوعة من النطبية وعبر معايير مختلفة. في الآونة الأخيرة، حصل التعلم التعريفي على الاهتمام باعتباره تقنية واعدة لتعزيز تعلم النقل بموجب سيناريوهات الموارد المنخفضة: خاصة للتحويل عبر اللغات في فهم اللغة الطبيعية (NLU). في هذا العمل، نقترح X-Metra-ADA، ونهج تكيف التعلم التعبيري عبر Ling-Lingual من أجل NLU. نهجنا تتكيف مع MAML، نهج التعلم التلوي المستند إلى التحسين، لتعلم التكيف مع لغات جديدة. نقوم بتقييم إطار عملنا على نطاق واسع على اثنين من مهام NLU الصينية الصعبة: مربع حوار موجه نحو المهلة متعددة اللغات والإجابة على الأسئلة المتنوعة من الناحية النموذجية. نظرا لأن نهجنا يتفوق على ضجة ساذجة دقيقة، حيث وصل إلى أداء تنافسي على كلا المهام لمعظم اللغات. يكشف تحليلنا أن X-Metra-ADA يمكنه الاستفادة من البيانات المحدودة للتكيف بشكل أسرع.

Multilingual models, such as M-BERT and XLM-R, have gained increasing popularity, due to their zero-shot cross-lingual transfer learning capabilities. However, their generalization ability is still inconsistent for typologically diverse languages and across different benchmarks. Recently, meta-learning has garnered attention as a promising technique for enhancing transfer learning under low-resource scenarios: particularly for cross-lingual transfer in Natural Language Understanding (NLU). In this work, we propose X-METRA-ADA, a cross-lingual MEta-TRAnsfer learning ADAptation approach for NLU. Our approach adapts MAML, an optimization-based meta-learning approach, to learn to adapt to new languages. We extensively evaluate our framework on two challenging cross-lingual NLU tasks: multilingual task-oriented dialog and typologically diverse question answering. We show that our approach outperforms naive fine-tuning, reaching competitive performance on both tasks for most languages. Our analysis reveals that X-METRA-ADA can leverage limited data for faster adaptation.