أهداف المحاذاة الصريحة للترفيه ثنائية الاتجاه متعددة اللغات

لقد أثبتت التشفير المتبادلة المدربة مسبقا مثل Mbert (Devlin et al.، 2019) و XLM-R (Conneau et al.، 2020) أثبتت فعالة بشكل مثير للإعجاب في تمكين التعلم عن نقل أنظمة NLP من لغات الموارد العالية لغات الموارد. يأتي هذا النجاح على الرغم من أنه لا يوجد هدف صريح لمواءمة التشريح السياقي للكلمات / الجمل مع معاني مماثلة عبر اللغات معا في نفس الفضاء. في هذه الورقة، نقدم طريقة جديدة لتعلم التشفير متعددة اللغات، العنبر (محاذاة ترميز ثنائي الاتجاه متعدد اللوغيات). يتم تدريب العنبر على بيانات متوازية إضافية باستخدام أهداف محاذاة واضحة محاذاة التمثيلات متعددة اللغات في حبيبات مختلفة. نقوم بإجراء تجارب على التعلم عبر التحويل الصفرية عبر اللغات عن مهام مختلفة بما في ذلك علامات التسلسل، واسترجاع الجملة وتصنيف الجملة. النتائج التجريبية على المهام في معيار Xtreme (HU et al.، 2020) تظهر أن العنبر يحصل على مكاسب تصل إلى 1.1 درجة F1 المتوسطة عند العلامات التسلسل وما يصل إلى 27.3 متوسط ​​الدقة عند الاسترجاع على نموذج XLM-R. 3.2x معلمات العنبر. تتوفر التعليمات البرمجية والنماذج لدينا على http://github.com/junjiehu/amber.