ترغب بنشر مسار تعليمي؟ اضغط هنا

تحسين النقل عبر اللغات لاستخراج وسيطة الأحداث مع هياكل الجملة العالمية

Improving Cross-Lingual Transfer for Event Argument Extraction with Language-Universal Sentence Structures

389   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نحن ندرس مشكلة استخراج وسيطة الأحداث عبر اللغات (CEAE). تهدف المهمة إلى التنبؤ بأدوار حجة من يذكر الأحداث في النص، والتي تختلف لغتها عن اللغة التي تم تدريبها على نموذج تنبؤي. أظهر العمل السابق على CEAE الفوائد المتبادلة لأشجار الاعتماد الشامل في التقاط الهياكل النحوية المشتركة للجمل عبر اللغات. على وجه الخصوص، يستغل هذا العمل وجود الاتصالات النحوية بين الكلمات في أشجار التبعية كمعرفة مرساة لنقل التمثيل تعلم عبر اللغات لنماذج CEAE (I.E.، عبر الرسوم البيانية الشبكات العصبية العلاجية - GCNS). في هذه الورقة، نقدم مصادر رواية معلومات مستقلة من اللغة للحصول على نماذج CEAE بناء على التشابه الدلالي وعلاقات التبعية الشاملة في Word Pairs بلغات مختلفة. نقترح استخدام مصادر المعلومات لإنتاج هياكل جملة مشتركة لسد الفجوة بين اللغات وتحسين الأداء المتبادل لنماذج CEAE. يتم إجراء تجارب واسعة مع اللغة العربية والصينية والإنجليزية لإظهار فعالية الطريقة المقترحة للحصول على CEAE.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

استخراج الأحداث على مستوى المستند أمر بالغ الأهمية لمختلف مهام معالجة اللغة الطبيعية لتوفير معلومات منظمة.النهج الحالية عن طريق النمذجة المتسلسلة إهمال الهياكل المنطقية المعقدة للنصوص الطويلة.في هذه الورقة، نستفيد بين تفاعلات الكيان وتفاعلات الجملة خ لال المستندات الطويلة وتحويل كل وثيقة إلى رسم بياني غير مرمى غير مسبهب من خلال استغلال العلاقة بين الجمل.نقدم مجتمع الجملة لتمثيل كل حدث كشركة فرعية.علاوة على ذلك.توضح التجارب أن إطارنا يحقق نتائج تنافسية على الأساليب الحديثة على مجموعة بيانات استخراج الأحداث على مستوى الوثيقة على نطاق واسع.
حققت نماذج اللغة المرجعة متعددة اللغات متعددة اللغات مؤخرا أداءا ملحوظا عن الصفر، حيث يتم تقسيم النموذج فقط في لغة مصدر واحدة وتقييمها مباشرة على اللغات المستهدفة.في هذا العمل، نقترح إطارا للتعليم الذاتي الذي يستخدم البيانات غير المستهدفة من اللغات ا لمستهدفة، بالإضافة إلى تقدير عدم اليقين في هذه العملية لتحديد ملصقات فضية عالية الجودة.يتم تكييف وثلاثة أوجه عدم اليقين الثلاثة وتحليلها خصيصا للتحويل اللغوي الصليب: لغة عدم اليقين المتنوعة من اللغة (LEU / LOU)، عدم اليقين الواضح (EVI).نقوم بتقييم إطار عملنا مع عدم اليقين على مهمتين متوقعتين بما في ذلك التعرف على الكيانات المسماة (NER) والاستدلال اللغوي الطبيعي (NLI) (NLI) (NLI) (NLI) تغطي 40 لغة في المجموع، والتي تتفوق على خطوط الأساس بشكل كبير بمقدار 10 F1 من دقة NLI.
في هذه الورقة، نقترحنا بمحاذاة تمثيلات الجملة من لغات مختلفة إلى مساحة تضمين موحدة، حيث يمكن حساب أوجه التشابه الدلالي (كل من الصليب اللغوي والأونولينغ) بمنتج نقطة بسيطة.نماذج اللغة المدربة مسبقا صقلها بشكل جيد مع مهمة تصنيف الترجمة.يستخدم العمل الحا لي (فنغ وآخرون.، 2020) جمل داخل الدفعة مثل السلبيات، والتي يمكن أن تعاني من مسألة السلبيات السهلة.نحن نتكيف مع MOCO (هو et al.، 2020) لمزيد من تحسين جودة المحاذاة.نظرا لأن النتائج التجريبية تظهر، فإن تمثيلات الجملة التي تنتجها نموذجنا لتحقيق أحدث الولاية الجديدة في العديد من المهام، بما في ذلك البحث عن التشابه التشابه TATOEBA EN-ZH (Artetxe Andschwenk، 2019b)، Bucc En-Zh BiteXTالتشابه النصي في 7 مجموعات البيانات.
تشفير لغة متعددة اللغات المدربة مسبقا، مثل Bert متعدد اللغات و XLM-R، إظهار إمكانات كبيرة للتحويل الصفر - عبر اللغات. ومع ذلك، فإن هذه اللوائح متعددة اللغات لا تحيي بالتحديد الكلمات والعبارات عبر اللغات. على وجه الخصوص، يتطلب محاذاة التعلم في مساحة ا لتضمين متعددة اللغات عادة على مستوى الجملة أو المستوى الموازي على مستوى Word، وهي مكلفة يتم الحصول عليها لغات الموارد المنخفضة. بديل هو جعل التشفير متعددة اللغات أكثر قوة؛ عند ضبط التشفير باستخدام المهمة المصدرة للمهمة، نربط التشفير لتتسامح مع الضوضاء في المساحات التضمين السياقية بحيث لا تتماشى تمثيلات اللغات المختلفة بشكل جيد، لا يزال بإمكان النموذج تحقيق أداء جيد على الصفر بالرصاص عبر اللغات نقل. في هذا العمل، نقترح استراتيجية تعليمية لتدريب النماذج القوية عن طريق رسم الروابط بين الأمثلة الخصومة وحالات فشل النقل الصفرية عبر اللغات. نعتمد اثنين من أساليب التدريب القوية المستخدمة على نطاق واسع، والتدريب الخصوم والتنعيم العشوائي، لتدريب النموذج القوي المرغوب فيه. توضح النتائج التجريبية أن التدريب القوي يحسن نقل صفرية عبر اللغات على مهام تصنيف النص. التحسن هو أكثر أهمية في إعداد النقل المتبادل المعمم، حيث ينتمي زوج جمل المدخلات إلى لغتين مختلفة.
نقترح طريقة لتقطير معنى المعنى اللاإرادي للغات من تشفير الجملة متعددة اللغات.عن طريق إزالة المعلومات الخاصة باللغة من التضمين الأصلي، نسترجع التضمين الذي يمثله بشكل كامل معنى الجملة.تعتمد الطريقة المقترحة فقط على Corpora الموازي دون أي شروح بشرية.يتي ح Edgedding المعنى لدينا تقدير تشابه تشابه التشابه من خلال حساب التشابه الجيبائي البسيط.النتائج التجريبية على حد كلا تقدير الجودة للترجمة الآلية ومهام التشابه النصي من الدلالات المتبادلة - أن طريقتنا تتفوق باستمرار على خطوط الأساس القوية باستخدام التضمين الأصلي متعدد اللغات.تعمل طريقتنا باستمرار على تحسين أداء أي تشفير جملة متعددة اللغات المدربة مسبقا، حتى في أزواج لغة الموارد المنخفضة حيث تتوفر عشرات الآلاف فقط من أزواج الجملة بالتوازي.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا