التدريب متعدد اللغات متعدد الألوان مقرها

تم إظهار النماذج المحددة متعددة اللغات مسبقا، مثل XLM-Roberta (XLM-R) فعالة في العديد من المهام المتقاطعة عبر اللغات.ومع ذلك، لا تزال هناك فجوات بين التمثيلات السياقية للكلمات المماثلة بلغات مختلفة.لحل هذه المشكلة، نقترح إطارا جديدا يدعى تدريبات متعددة اللغات المختلطة (MVMLT)، والتي ترفع البيانات التي تبديل التعليمات البرمجية مع التعلم المتعدد المشاهدة لحن XLM-R.يستخدم MVMLT الرافية القائمة على التدرج لاستخراج الكلمات الرئيسية التي تعد الأكثر صلة بمهام المصب واستبدالها بالكلمات المقابلة في اللغة المستهدفة بشكل حيوي.علاوة على ذلك.تبين تجارب واسعة مزودة بأربع لغات أن نموذجنا يحقق نتائج أحدث النتائج على تصنيف المعنويات الصفرية ومهام تتبع الدولة للحوار، مما يدل على فعالية نموذجنا المقترح.

Recent multilingual pre-trained models, like XLM-RoBERTa (XLM-R), have been demonstrated effective in many cross-lingual tasks. However, there are still gaps between the contextualized representations of similar words in different languages. To solve this problem, we propose a novel framework named Multi-View Mixed Language Training (MVMLT), which leverages code-switched data with multi-view learning to fine-tune XLM-R. MVMLT uses gradient-based saliency to extract keywords which are the most relevant to downstream tasks and replaces them with the corresponding words in the target language dynamically. Furthermore, MVMLT utilizes multi-view learning to encourage contextualized embeddings to align into a more refined language-invariant space. Extensive experiments with four languages show that our model achieves state-of-the-art results on zero-shot cross-lingual sentiment classification and dialogue state tracking tasks, demonstrating the effectiveness of our proposed model.