ترغب بنشر مسار تعليمي؟ اضغط هنا

Metaxl: التحول التمثيل META للحصول على التعلم الصليب اللغوي المنخفض

MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning

319   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

مزيج من التمثيلات المتعددة اللغات المدربة مسبقا وتعلم النقل عبر اللغات هو أحد أكثر الطرق فعالية لبناء أنظمة NLP الوظيفية لغات الموارد المنخفضة. ومع ذلك، بالنسبة لغات الموارد المنخفضة للغاية دون نطاق واسع النطاق لأحادية النطاق للتدريب المسبق أو البيانات المشروحة المكافحة للضبط بشكل جيد، لا يزال التعلم التحويل مهمة مفهومة وصعبة. علاوة على ذلك، يوضح العمل الحديث أن تمثيلات متعددة اللغات هي بفك الشفقة على اللغات، مما جلب تحديات إضافية للتحويل إلى لغات الموارد المنخفضة للغاية. في هذه الورقة، نقترح metaxl، إطار التعلم التعلم التعلم الذي يتعلم تحويل التمثيلات بحكمة من اللغات المساعدة إلى هدف واحد ويجلب مساحات تمثيلها أقرب إلى النقل الفعال. تجارب مكثفة على لغات الموارد المنخفضة في العالم الحقيقي - دون الوصول إلى كورسا أحادية واسعة النطاق أو كميات كبيرة من البيانات المسمى - للمهام مثل تحليل المشاعر المتبادلة والاعتراف كيان المسمى إظهار فعالية نهجنا. رمز Metaxl متوفر علنا ​​في github.com/microsoft/metaxl.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حقق التعلم التلوي نجاحا كبيرا في الاستفادة من المعرفة المستفادة التاريخية لتسهيل عملية التعلم المهمة الجديدة.ومع ذلك، فإن تعلم معرفة المهام التاريخية، التي اعتمدتها خوارزميات التعلم التلوي الحالية، قد لا تعميم بشكل جيد للاختبار المهام عندما لا تكون م دعومة جيدا بمهام التدريب.تدرس هذه الورقة مشكلة تصنيف النص المنخفض للموارد ويزيد الفجوة بين مهام اختبار التوطين والاختبار التلوي من خلال الاستفادة من قواعد المعرفة الخارجية.على وجه التحديد، نقترح KGML لإدخال تمثيل إضافي لكل جملة مستفادة من الرسم البياني المعرفي الخاص بالحكم الجملة المستخرجة.توضح التجارب الواسعة على ثلاثة مجموعات بيانات فعالية KGML تحت كلا من إعدادات التكيف والإشراف غير المدفوع.
تستكشف هذه الورقة تأثير استخدام التعلم المتعدد التواجد لتلخيص الجماع في سياق كورسا التدريب الصغيرة.على وجه الخصوص، نحن ندمج أربع مهام مختلفة (تلخيص استخراجي، ونمذجة اللغة، والكشف عن المفهوم، والكشف عن الصياغة على حد سواء بشكل فردي ومزيج، بهدف تعزيز ا لمهمة المستهدفة المتمثلة في تلخيص الجماع عبر التعلم المتعدد.نظرا لأنه بالنسبة للعديد من مجموعات المهام، فإن نموذج مدرب في إعداد متعدد الأيتاكف يتفوق على نموذج مدرب فقط في تلخيص الجماع، مع عدم تقديم بيانات تلخيص إضافية.بالإضافة إلى ذلك، نقوم بعمل بحث شامل والعثور على أن بعض المهام (E.G. الكشف عن الصياغة) تستفيد باستمرار تلخيص الجماعي، ليس فقط عند الجمع مع المهام الأخرى ولكن أيضا عند استخدام بهيئات مختلفة وتدريب كورسا.
نقترح طريقة لتقطير معنى المعنى اللاإرادي للغات من تشفير الجملة متعددة اللغات.عن طريق إزالة المعلومات الخاصة باللغة من التضمين الأصلي، نسترجع التضمين الذي يمثله بشكل كامل معنى الجملة.تعتمد الطريقة المقترحة فقط على Corpora الموازي دون أي شروح بشرية.يتي ح Edgedding المعنى لدينا تقدير تشابه تشابه التشابه من خلال حساب التشابه الجيبائي البسيط.النتائج التجريبية على حد كلا تقدير الجودة للترجمة الآلية ومهام التشابه النصي من الدلالات المتبادلة - أن طريقتنا تتفوق باستمرار على خطوط الأساس القوية باستخدام التضمين الأصلي متعدد اللغات.تعمل طريقتنا باستمرار على تحسين أداء أي تشفير جملة متعددة اللغات المدربة مسبقا، حتى في أزواج لغة الموارد المنخفضة حيث تتوفر عشرات الآلاف فقط من أزواج الجملة بالتوازي.
أصبح توحيد التعلم الصوتي واللغوي أمرا مهما بشكل متزايد بنقل المعرفة المستفادة بشأن وفرة بيانات لغة الموارد عالية الموارد للحصول على التعرف على الكلام المنخفض الموارد. الأساليب الحالية ببساطة تتالي النماذج الصوتية واللغة المدربة مسبقا لتعلم النقل من ا لكلام إلى النص. ومع ذلك، فإن كيفية حل تناقض التمثيل في الكلام والنص غير مستكشفة، مما يعيق استخدام المعلومات الصوتية واللغوية. علاوة على ذلك، يعمل الأمر السابق ببساطة استبدال طبقة تضمين نموذج اللغة المدربة مسبقا مع الميزات الصوتية، والتي قد تتسبب في مشكلة نسيان الكارثي. في هذا العمل، نقدم WAV-Bert، وهي طريقة تعليمية تعاونية وصوتية وممثلة على الصمامات والاستفادة من المعلومات السياقية من الكلام والنص. على وجه التحديد، نقوم بتحديد نموذج صوت صوتي مدرب مسبقا (WAV2VEC 2.0) ونموذج لغة (Bert) في إطار قابل للتدريب من طرف إلى نهاية. تم تصميم وحدة تجميع التمثيل لتجميع التمثيل الصوتي واللغوي، ويتم تقديم وحدة الانتباه التضمين لإدماج المعلومات الصوتية في بيرت، والتي يمكن أن تسهل بفعالية تعاون نماذج مدربة مسبقا وبالتالي تعزيز تعلم التمثيل. تشير التجارب الواسعة إلى أن لدينا WAV-Bert تنفأ بشكل كبير على النهج الحالية وتحقيق الأداء الحديث في التعرف على الكلام المنخفض الموارد.
نقترح نهجا جديدا لتعلم تضمين الكلمات المتبادلة عبر السياق بناء على كائن مواز صغير (E.G. بضع مئات من أزواج الجملة). تتمتع طريقتنا بدمج الكلمات عبر نموذج فك تشفير LSTM يترجم في وقت واحد وإعادة بناء جملة مدخلات. من خلال تقاسم المعلمات النموذجية بين لغات مختلفة، يدرك نموذجنا بشكل مشترك كلمة تضمين الكلمة في مساحة شائعة تبادل اللغات. نقترح أيضا الجمع بين وظائف الكلمة والكلمات الفرعية للاستفادة من أوجه التشابه الهجري عبر لغات مختلفة. نحن نؤدي تجاربنا على بيانات العالم الحقيقي من اللغات المهددة بالانقراض، وهي يونغينغ نا، Shipibo-Konibo، و Griko. تجاربنا على تحيزي المعجم الثنائي اللغة ومهام محاذاة الكلمات تظهر أن نموذجنا يفوق على الأساليب الحالية من قبل هامش كبير لمعظم أزواج اللغات. توضح هذه النتائج أنه على خلاف المعتقد الشائع، فإن نموذج الترجمة المشترك - ترميز الترميز مفيد لتعلم التمثيلات المتبادلة حتى في ظروف الموارد المنخفضة للغاية. علاوة على ذلك، يعمل نموذجنا أيضا بشكل جيد في ظروف الموارد العالية، وتحقيق الأداء الحديث في مهمة محاذاة الكلمة باللغة الألمانية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا