ترغب بنشر مسار تعليمي؟ اضغط هنا

أهداف المحاذاة الصريحة للترفيه ثنائية الاتجاه متعددة اللغات

Explicit Alignment Objectives for Multilingual Bidirectional Encoders

295   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

لقد أثبتت التشفير المتبادلة المدربة مسبقا مثل Mbert (Devlin et al.، 2019) و XLM-R (Conneau et al.، 2020) أثبتت فعالة بشكل مثير للإعجاب في تمكين التعلم عن نقل أنظمة NLP من لغات الموارد العالية لغات الموارد. يأتي هذا النجاح على الرغم من أنه لا يوجد هدف صريح لمواءمة التشريح السياقي للكلمات / الجمل مع معاني مماثلة عبر اللغات معا في نفس الفضاء. في هذه الورقة، نقدم طريقة جديدة لتعلم التشفير متعددة اللغات، العنبر (محاذاة ترميز ثنائي الاتجاه متعدد اللوغيات). يتم تدريب العنبر على بيانات متوازية إضافية باستخدام أهداف محاذاة واضحة محاذاة التمثيلات متعددة اللغات في حبيبات مختلفة. نقوم بإجراء تجارب على التعلم عبر التحويل الصفرية عبر اللغات عن مهام مختلفة بما في ذلك علامات التسلسل، واسترجاع الجملة وتصنيف الجملة. النتائج التجريبية على المهام في معيار Xtreme (HU et al.، 2020) تظهر أن العنبر يحصل على مكاسب تصل إلى 1.1 درجة F1 المتوسطة عند العلامات التسلسل وما يصل إلى 27.3 متوسط ​​الدقة عند الاسترجاع على نموذج XLM-R. 3.2x معلمات العنبر. تتوفر التعليمات البرمجية والنماذج لدينا على http://github.com/junjiehu/amber.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

قياس درجة التشابه بين زوج من الجمل بلغات مختلفة هو المطلوبة الأساسية لأساليب تضمين الجملة متعددة اللغات. يتكون التنبؤ بدرجة التشابه من مهمتين فرعيتين، وهو تقييم التغلب غير المباشر واسترجاع الجملة متعددة اللغات. ومع ذلك، فإن الأساليب التقليدية قد تناو لت أساسا واحدة فقط من المهام الفرعية، وبالتالي أظهرت عروضا متحيزا. في هذه الورقة، نقترح طريقة جديدة وطريقة قوية لتضمين الجملة متعددة اللغات، مما يدل على تحسين الأداء على كلا المهام الفرعية، وبالتالي مما يؤدي إلى تنبؤات قوية لدرجات التشابه متعددة اللغات. تتكون الطريقة المقترحة من جزأين: لتعلم التشابه الدلالي من الجمل في اللغة المحورية، ثم تمديد الهيكل الدلالي المستفاد لغات مختلفة. لمحاذاة الهياكل الدلالية عبر لغات مختلفة، نقدم شبكة مدرس وطالب. تقطير شبكة المعلم معرفة اللغة المحورية لغات مختلفة من شبكة الطلاب. أثناء التقطير، يتم تحديث معلمات شبكة المعلم مع المتوسط ​​البطيء المتحرك. جنبا إلى جنب مع التقطير وتحديث المعلمة، يمكن محاذاة الهيكل الدلالي لشبكة الطالب مباشرة عبر لغات مختلفة مع الحفاظ على القدرة على قياس التشابه الدلالي. وبالتالي، فإن طريقة التدريب متعددة اللغات تدفع تحسين الأداء في تقييم التشابه متعدد اللغات. يحقق النموذج المقترح أداء الحديث في تقييم التشابه متعدد اللغات لعام 2017 بالإضافة إلى مهام فرعية، التي تمتد التقييم المتشابهات لأول مرة 2017 و Tatoeba متعددة اللغات متعددة اللغات في 14 لغة.
اقترحت الدراسات الحديثة طرق مختلفة لتحسين تمثيلات الكلمات متعددة اللغات في الإعدادات السياقية بما في ذلك التقنيات التي تتماشى بين المساحات المصدر والهدف المستهدف.بالنسبة للمشروعات السياقية، تصبح المحاذاة أكثر تعقيدا كما نستفيد إلى السياق بالإضافة إلى ذلك.في هذا العمل، نقترح استخدام النقل الأمثل (OT) كهدف محاذاة أثناء ضبط الدقيقة لزيادة تحسين تمثيلات محاكية متعددة اللغات للتحويل المتبادل عبر اللغات.لا يتطلب هذا النهج أزواج محاذاة Word قبل ضبط الرصيف الذي قد يؤدي إلى مطابقة فرعية مثالية ويتعلم بدلا من محاذاة الكلمة في السياق بطريقة غير منشأة.كما يسمح أيضا بأنواع مختلفة من التعيينات بسبب مطابقة ناعمة بين الجمل المستهدفة.نقوم بتقييم طريقةنا المقترحة على مهمتين (XNLI و Xquad) وتحقيق تحسينات على أساس الأساسيات وكذلك نتائج تنافسية مقارنة بأعمال مؤخرا مماثلة.
تلقى الكشف عن اللغة الهجومية (القديم) اهتماما متزايدا بسبب تأثيرها المجتمعي.يوضح العمل الحديث أن الأساليب القائمة على المحولات ثنائية الاتجاه تحصل على أداء مثير للإعجاب في القديم.ومع ذلك، فإن هذه الأساليب تعتمد عادة على مجموعات البيانات القديمة ذات ا لمسمى على نطاق واسع لتدريب النماذج.لمعالجة مسألة ندرة البيانات / التسمية في القديم، في هذه الورقة، نقترح نهج بسيط في مجال تكيف مجال بسيط ولكنه فعال لتدريب المحولات ثنائية الاتجاه.تقدم نهجنا إجراءات التدريب على التكيف (DA) إلى ألبرت، بحيث يمكنها استغلال البيانات المساعدة الفعالة من مجالات المصدر لتحسين الأداء القديم في مجال مستهدف.تظهر النتائج التجريبية على مجموعات البيانات القياسية أن نهجنا، ألبرت (دا)، يحصل على الأداء الحديثة في معظم الحالات.على وجه الخصوص، فإن نهجنا يستفيد بشكل كبير من الدروس الممثلة بشكل كبير وغير مصنوع من الأداء، مع تحسن كبير على ألبرت.
نقترح طريقة لتقطير معنى المعنى اللاإرادي للغات من تشفير الجملة متعددة اللغات.عن طريق إزالة المعلومات الخاصة باللغة من التضمين الأصلي، نسترجع التضمين الذي يمثله بشكل كامل معنى الجملة.تعتمد الطريقة المقترحة فقط على Corpora الموازي دون أي شروح بشرية.يتي ح Edgedding المعنى لدينا تقدير تشابه تشابه التشابه من خلال حساب التشابه الجيبائي البسيط.النتائج التجريبية على حد كلا تقدير الجودة للترجمة الآلية ومهام التشابه النصي من الدلالات المتبادلة - أن طريقتنا تتفوق باستمرار على خطوط الأساس القوية باستخدام التضمين الأصلي متعدد اللغات.تعمل طريقتنا باستمرار على تحسين أداء أي تشفير جملة متعددة اللغات المدربة مسبقا، حتى في أزواج لغة الموارد المنخفضة حيث تتوفر عشرات الآلاف فقط من أزواج الجملة بالتوازي.
تتمثل النهج التقليدي في تحسين أداء نماذج ترجمة الكلام في النهاية (E2E-St) في الاستفادة من النسخ المصدر عبر التدريب المسبق والتدريب المشترك مع التعرف على الكلام التلقائي (ASR) ومهام الترجمة الآلية العصبية (NMT). ومع ذلك، نظرا لأن طرائق الإدخال مختلفة، فمن الصعب الاستفادة من نص لغة المصدر بنجاح. في هذا العمل، نركز على تقطير المعرفة على مستوى التسلسل (SEQKD) من نماذج NMT الخارجية القائمة على النصوص. للاستفادة من الإمكانات الكاملة لمعلومات اللغة المصدر، نقترحنا على الوراء SEQKD، SEQKD من نموذج NMT للخلف إلى المصدر. تحقيقا لهذه الغاية، نقوم بتدريب نموذج ثنائي اللغة E2E-St للتنبؤ بالصايات بمثابة مهمة مساعدة مع وحدة فك ترميز واحدة. يتم إنشاء الصيغة من الترجمات في Bitex عبر الترجمة مرة أخرى. ونحن نقترح مزيدا من SEQKD ثنائي الاتجاه حيث يتم دمج SEQKD من نماذج NMT إلى الأمام والخلف. تظهر التقييمات التجريبية على كل من النماذج التلقائية وغير اللاحنة التلقائية أن Seqkd في كل اتجاه يحسن باستمرار أداء الترجمة، والفعالية مكملة بغض النظر عن القدرات النموذجية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا