ترغب بنشر مسار تعليمي؟ اضغط هنا

بسيطة بشكل محبط ولكنه قوي بشكل مدهش: استخدام ميزات مستقلة للغات من أجل التحليل الدلالي الصفر اللغوي

Frustratingly Simple but Surprisingly Strong: Using Language-Independent Features for Zero-shot Cross-lingual Semantic Parsing

346   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أدى توفر Corpora إلى تقدم كبير في تدريب المحللين الدلاليين باللغة الإنجليزية.لسوء الحظ، لغات أخرى غير اللغة الإنجليزية، البيانات المشروحة محدودة وكذلك أداء المحللين المتقدمة.لقد أثبتت نماذج متعددة اللغات مؤخرا مفيدة للتحويل الصفر اللغوي في العديد من مهام NLP.ماذا يحتاج إلى تطبيق محلل محلل مدرب باللغة الإنجليزية إلى لغات أخرى من التحليل الدلالي الصفر اللغوي؟هل ستساعد ميزات بسيطة من اللغة المستقلة؟تحقيقا لهذه الغاية، نقوم بتجربة ستة بنية تمثيل خطوبة (DRS) المحللين الدلاليين باللغة الإنجليزية، وتعميمهم إلى الإيطالية والألمانية والهولندية، حيث لا يوجد سوى عدد قليل من الحواجز المشروحة يدويا.تظهر تجارب مكثفة أنه على الرغم من بساطته، مضيفا علاقات التبعية العالمية (UD) وعلامات نقاط البيع العالمية (UPOS) حيث تحقق ميزات نموذجية للأذرع تحسن قوي بشكل مدهش على جميع المحللين.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حققت نماذج متعددة اللغات المدربة مسبقا أداء ملحوظا على تعلم التحويل عبر اللغات.تم تدريب بعض النماذج متعددة اللغات مثل Mbert، مدربة مسبقا على Corpora غير المسبق، وبالتالي لا يمكن تضمين تضمينات لغات مختلفة في النماذج بشكل جيد للغاية.في هذه الورقة، نهدف إلى تحسين أداء نقل اللغات المتبادل الصفر عن طريق اقتراح مهمة تدريبية مسبقا تسمى نموذج محاذاة Word-Exchange (Weal)، والذي يستخدم معلومات المحاذاة الإحصائية كمعرفة مسبقة لتوجيه الكلمة عبر اللغاتتنبؤ.نحن نقيم نموذجنا في مهمة مهام الفهم لقراءة الجهاز متعدد اللغات ومهمة واجهة اللغة الطبيعية XNLI.تظهر النتائج أن Weam يمكن أن يحسن بشكل كبير من الأداء الصفر بالرصاص.
في تحليل التمثيل المعني المتبادل التجريدي (AMR)، يقوم الباحثون بتطوير النماذج التي تمارس طرزها من لغات مختلفة على الأمراض الأمريكية لالتقاط هياكلها الدلالية الأساسية: بالنظر إلى عقوبة بأي لغة، نهدف إلى التقاط المحتوى الدلالي الأساسي من خلال المفاهيم المتصلةأنواع متعددة من العلاقات الدلالية.الأساليب عادة ما تصل إلى بيانات التدريب الفضي الكبيرة لتعلم نموذج واحد قادر على مشروع الجمل غير الإنجليزية إلى AMRS.ومع ذلك، نجد أن خط الأساس البسيط يميل إلى التغاضي عنه: ترجمة الجمل إلى الإنجليزية وتستعرض AMR الخاص بهم مع محلل عمرو أحادي (ترجمة + تحليل، T + P).في هذه الورقة، نؤيد هذا الخط الأساسي البسيط من خطوتين، وتعزيزه بنظام NMT قوي ومحلل عمرو قوي.تظهر تجاربنا أن T + P يتفوق على نظام أحدث حديثة في جميع اللغات التي تم اختبارها: الألمانية والإيطالية والإسبانية وماندرين مع +14.6 و +12.6 و +14.3 ونقاط Smatch
نقدم متعدد اليوراء، مجموعة بيانات جديدة متعددة اللغات لتصنيف الموضوع للوثائق القانونية. تضم DataSet قوانين الاتحاد الأوروبي 65 ألف (EU)، والتي ترجمت رسميا في 23 لغة، مشروحا بالملصقات المتعددة من تصنيف Eurovoc. نسلط الضوء على تأثير المنفأة الزمنية الا نجراف وأهمية التسلسل الزمني، بدلا من الانقسامات العشوائية. نستخدم DataSet كاختبار لنقل صفرية عبر اللغات، حيث استغلنا المستندات التدريبية المشروح بلغة واحدة (مصدر) لتصنيف المستندات بلغة أخرى (الهدف). نجد أن ضبط النموذج المحدد المتعدد اللغتين (XLM-Roberta، MT5) في لغة مصدر واحدة يؤدي إلى نسيان كارثي من المعرفة متعددة اللغات، وبالتالي، فإن تحويل صفر ضعيف إلى لغات أخرى. استراتيجيات التكيف، وهي استراتيجيات دقيقة، محولات، معترفيت، LNFIT، اقترحت في الأصل تسريع الضبط الجميل للمهام النهائية الجديدة، والمساعدة في الاحتفاظ بالمعرفة متعددة اللغات من الاحتجاج، وتحسين نقل اللغات الصفر قليلا، ولكن تأثيرها يعتمد أيضا على ذلك على النموذج المحدد مسبقا يستخدم وحجم مجموعة التسمية.
تقوم هذه الدراسات الورقية بالتحويل عبر اللغات الصفرية إلى نماذج لغة الرؤية. على وجه التحديد، نركز على البحث عن نص متعدد اللغات والفيديو واقتراح نموذجا يستند إلى المحولات التي تتعلم أن تضمينات السياق متعددة اللغات متعددة اللغات. تحت إعداد طلقة صفرية، نوضح تجريبيا أن الأداء يتحلل بشكل كبير عند الاستعلام عن نموذج الفيديو النصي متعدد اللغات مع جمل غير إنجليزية. لمعالجة هذه المشكلة، نقدم استراتيجية متعددة الاستخدامات متعددة الاستخدامات متعددة اللغات، وجمع مجموعة بيانات تعليمية متعددة اللغات متعددة اللغات (متعدد HOWTO100M) للتدريب المسبق. تشير التجارب في VTT إلى أن طريقتنا تعمل بشكل كبير على تحسين البحث عن الفيديو في اللغات غير الإنجليزية دون شروح إضافية. علاوة على ذلك، عند توفر التعليقات التوضيحية متعددة اللغات، تتفوقت طريقة لدينا على خطوط الأساس الحديثة بواسطة هامش كبير في البحث عن نص متعدد اللغات للفيديو على VTT و Vatex؛ وكذلك في البحث النص متعدد اللغات إلى الصورة على multi30k. يتوفر نموذجنا ومتعدد HOWTO100M على http://github.com/berniebear/multi-ht100m.
تكييف ترتيب الكلمات من لغة واحدة إلى أخرى هو مشكلة رئيسية في التنبؤ المنظم عبر اللغات.تشفير الجملة الحالية (على سبيل المثال، RNN، محول مع تضيير الموقف) هي عادة ترتيب الكلمة الحساسة.حتى مع وجود تمثيلات نموذج موحدة (MUSE، MBERT)، قد تؤذي تناقضات ترتيب الكلمات التكيف مع النماذج.في هذه الورقة، نبني نماذج التنبؤ الهيكلية بمدخلات كيس من الكلمات، وإدخال وحدة إعادة ترتيب جديدة لتنظيم الكلمات بعد ترتيب لغة المصدر، والذي يتعلم استراتيجيات إعادة ترتيب محددة المهام من نموذج تنبئ النظام للأغراض العامة.تظهر التجارب على تحليل التبعية المتبادلة الصفرية وعلامات نقاط البيع، والعلامات المورفولوجية أن طرازنا يمكن أن يحسن بشكل كبير من أداء اللغات المستهدفة، وخاصة لغات بعيدة عن اللغة المصدر.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا