ترغب بنشر مسار تعليمي؟ اضغط هنا

التحقيق في محاذاة التمثيل بعد الاحتجاج بها للنظرات الشاملة الإجابة

Investigating Post-pretraining Representation Alignment for Cross-Lingual Question Answering

269   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يتم تشفير المعرفة البشرية بشكل جماعي في حوالي 6500 لغة تحدثت في جميع أنحاء العالم، لكنها لا توزع بنفس القدر من اللغات.وبالتالي، بالنسبة لنظم الإجابة على الأسئلة التي تسعى للحصول على المعلومات (QA) لخدمة مكبرات الصوت بشكل كاف من جميع اللغات، فإنها تحتاج إلى تشغيل عبر المقلوب.في هذا العمل، نحقق في إمكانات نماذج اللغة المسبقة للحداجات متعددة اللغات على QA عبر اللغات.نجد أن محاذاة التمثيلات الصافية عبر اللغات التي تحتوي على خطوة Finetuning Post-Hoc تؤدي عموما إلى تحسين الأداء.نحن بالإضافة إلى ذلك التحقيق في تأثير حجم البيانات بالإضافة إلى اختيار اللغة في هذه الخطوة الدقيقة هذه، أيضا إطلاق مجموعة بيانات لتقييم أنظمة QA عبر اللغات.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حققت نماذج لغة الرؤية المحددة الأخيرة أداء مثير للإعجاب على مهام الاسترجاع عبر مشروط باللغة الإنجليزية. ومع ذلك، تعتمد نجاحهم بشكل كبير على توافر العديد من مجموعات بيانات التعليق المشروح على الصورة لإحاطاء، حيث لا تكون النصوص بالضرورة باللغة الإنجليز ية. على الرغم من أنه يمكننا استخدام أدوات الترجمة الآلية (MT) لترجمة النص غير الإنجليزي إلى اللغة الإنجليزية، فإن الأداء لا يزال يعتمد إلى حد كبير على جودة MT وقد يعاني من مشاكل عالية من الكمون في تطبيقات العالم الحقيقي. تقترح هذه الورقة نهجا جديدا لتعلم تمثيلات متعددة الوسائط عبر اللغات لمطابقة الصور وإياراتها ذات الصلة بلغات متعددة. نجمع بسلاسة بسلاسة أهداف محالمانية عبر اللغات وأهداف محالم الاحتجاج بالعدوان في إطار موحد لتعلم الصور والنص في مساحة تضمين مشتركة من بيانات التسمية التوضيحية باللغة الإنجليزية المتاحة، مونولينغيا ومتوازي Corpus. نظظ أن نهجنا يحقق أداء SOTA في مهام استرجاع على معايير التسمية التوضيحية متعددة اللغات متعددة اللغات متعددة اللغات: multi30k مع التسميات التوضيحية الألمانية و mscoco مع التسميات التوضيحية اليابانية.
تفترض السؤال المتعدد اللغات الرد على المهام عادة أن الإجابات موجودة بنفس اللغة مثل السؤال. ومع ذلك، في الممارسة العملية، تواجه العديد من اللغات كل من ندرة المعلومات --- حيث تحتوي اللغات على عدد قليل من المقالات المرجعية --- واستاجةم المعلومات --- أين الأسئلة المرجعية المفاهيم من الثقافات الأخرى. يمتد هذا العمل سؤالا مفتوحا للاسترجاع الرد على الإعداد المتبادل الذي تمكن الأسئلة من لغة واحدة للإجابة على محتوى الإجابة من لغة أخرى. نحن نبني مجموعة بيانات واسعة النطاق تم بناؤها على أسئلة 40K تسعى للحصول على معلومات عبر 7 لغات غير الإنجليزية متنوعة لا يمكن أن تجد Tydi QA إجابات لغة نفسها. استنادا إلى هذه البيانات، نقدم إطار عمل، يسمى سؤالا عبر اللغات المفتوح استرجاع الإجابة (XOR QA)، الذي يتكون من ثلاث مهام جديدة تنطوي على استرجاع وثائق عبر اللغات من موارد متعددة اللغات والإنجليزية. نقوم بإنشاء خطوط الأساس مع أنظمة ترجمة من الآلة الحديثة ونماذج مسببة الاحتياطية عبر اللغات. تشير النتائج التجريبية إلى أن XOR QA هي مهمة صعبة سيسهل تطوير تقنيات جديدة للإجابة على الأسئلة متعددة اللغات. تتوفر بياناتنا ورمزنا في https://nlp.cs.washington.edu/xorqa/.
يتطلب الإجابة السؤال المنطوقة (SQA) فهما غريبا من الوثائق والأسئلة المنطوقة للتنبؤ بالأجواب المثلى. في هذه الورقة، نقترح خطط تدريبية جديدة للسؤال المستحضر الرد على مرحلة تدريب ذاتية الإشراف ومرحلة تعليم التمثيل المتعاقبة. في المرحلة الإشراف ذاتيا، نق ترح ثلاث مهام إضافية للإشراف على الذات، بما في ذلك استعادة الكلام وإدراج الكلام، والتمييز على السؤال، وتدريب النموذج المشترك على التقاط الاتساق والتماسك بين وثائق الكلام دون أي بيانات أو شروح إضافية. بعد ذلك اقترحنا تعلم تمثيلات الكلام الثغري في الضوضاء في هدف مرتعيض من خلال اعتماد استراتيجيات تكبير متعددة، بما في ذلك حذف الأمان والإحلال. علاوة على ذلك، نقوم بتصميم اهتمام مؤقت للمحاذاة بمحاذاة أدلة نص الكلام في المساحة المشتركة المستفادة ويفيد مهام SQA. بهذه الطريقة، يمكن أن توجه مخططات التدريب بشكل أكثر فعالية نموذج الجيل للتنبؤ بأجوبة أكثر سليمة. تظهر النتائج التجريبية أن نموذجنا يحصل على نتائج أحدث النتائج على ثلاثة معايير SQA. سيتم توفير الكود الخاص بنا علنا ​​بعد النشر.
تحقق نماذج الرد على الأسئلة النصية الحالية (QA) أداء قوي على مجموعات اختبار داخل المجال، ولكن في كثير من الأحيان القيام بذلك عن طريق تركيب أنماط المستوى السطحي، لذلك فشلوا في التعميم لإعدادات خارج التوزيع. لجعل نظام ضمان الجودة أكثر قوة ومفهومة، نقوم بالنماذج النموذجية في الإجابة كمشكلة محاذاة. نحن نحلل كل من السؤال والسياق إلى وحدات أصغر بناء على التمثيلات الدلالية خارج الرف (هنا، الأدوار الدلالية)، ومحاذاة السؤال إلى مجموعة فرعية من السياق من أجل العثور على الجواب. نقوم بصياغة نموذجنا كإدارة منظمة تنظم، مع درجات المحاذاة المحسوبة عبر Bert، ويمكننا تدريب نهاية إلى نهاية على الرغم من استخدام شعاع البحث عن الاستدلال التقريبي. يتيح لنا استخدامنا للتويات الصريحة استكشاف مجموعة من القيود التي يمكننا حظرها أنواع معينة من السلوك النموذجي السيئ الناشئ في إعدادات المجال عبر. علاوة على ذلك، من خلال التحقيق في الاختلافات في الدرجات عبر الإجابات المحتملة المختلفة، يمكننا أن نسعى لفهم جوانب معينة من المدخلات التي تقدم النموذج لاختيار الإجابة دون الاعتماد على تقنيات تفسير ما بعد المخصص. نحن ندرب نموذجنا على فرقة V1.1 واختبرها على العديد من مجموعات بيانات الخصومة والخروج. تشير النتائج إلى أن طرازنا أكثر قوة من طراز Bert QA القياسي، والقيود المستمدة من درجات المحاذاة تسمح لنا بالتنازل بفعالية من التغطية والدقة بشكل فعال.
أظهرت الدراسات الحديثة أن النماذج المتبادلة المدربة مسبقا تحقق أداء مثير للإعجاب في المهام المتقاطعة المتبادلة. يستفيد هذا التحسن من تعلم كمية كبيرة من مونوللقي والموازيات. على الرغم من أنه من المعترف به عموما أن شركة فورانيا الموازية أمر بالغ الأهمي ة لتحسين الأداء النموذجي، فإن الأساليب الحالية غالبا ما تكون مقيدة بحجم Corpora المتوازي، خاصة لغات الموارد المنخفضة. في هذه الورقة، نقترح Ernie-M، وهي طريقة تدريب جديدة تشجع النموذج على محاذاة تمثيل لغات متعددة مع شركة أحادية الأحادية، للتغلب على القيد أن أماكن حجم Corpus الموازي على الأداء النموذجي. إن رؤيتنا الرئيسية هي دمج الترجمة الخلفي في عملية التدريب المسبق. نحن نولد أزواج جملة زائفة بالموازاة على كائن أحادي مونولينغ لتمكين تعلم المحاذاات الدلالية بين لغات مختلفة، وبالتالي تعزيز النمذجة الدلالية للنماذج المتبقية. تظهر النتائج التجريبية أن Ernie-M يتفوق على النماذج الحالية عبر اللغات الحالية ويوفر نتائج حالة جديدة من بين الفنين في مختلف مهام المصب عبر اللغات. سيتم إجراء الرموز والنماذج المدربة مسبقا متاحة للجمهور.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا