تحفيز التعليمات متعددة اللغات اللغوية

تمثل التمثيلات المتبادلة القدرة على جعل تقنيات NLP المتاحة للغالبية العظمى من اللغات في العالم. ومع ذلك، فإنهم يتطلبون حاليا كوربورا محدبة كبيرة أو الوصول إلى لغات مماثلة من الناحية النموذجية. في هذا العمل، نتعلم هذه العقبات من خلال إزالة إشارات هوية اللغة من المدينات متعددة اللغات. ندرس ثلاث نهج لذلك: (1) إعادة محاذاة مساحات ناقلات اللغات المستهدفة (كل ذلك) إلى لغة مصدر محوري؛ (2) إزالة الوسائل والفروقة الخاصة باللغة، والتي تفرج بشكل أفضل من التمييز بين المدينين كمنتج ثانوي؛ (3) زيادة تشابه الإدخال عبر اللغات عن طريق إزالة الانقباضات المورفولوجية وإعادة ترتيب الجملة. نقيم تقييم XNLI وتقييم MT بدون مرجع عبر 19 لغة متنوعة من الناحية النموذجية. تعرض نتائجنا قيود هذه الأساليب - على عكس تطبيع ناقلات ومحاذاة الفضاء المتجه وتطبيع النصوص لا يحقق مكاسب متسقة عبر اللوافع واللغات. نظرا لآثاره المضافة للنهج، فإن مزيجها يقلل فجوة النقل عبر اللغات بمقدار 8.9 نقطة (M-Bert) و 18.2 نقطة (XLM-R) في المتوسط ​​عبر جميع المهام واللغات.