ترغب بنشر مسار تعليمي؟ اضغط هنا

MFAQ: بيانات أسئلة وأجوبة متعددة اللغات

MFAQ: a Multilingual FAQ Dataset

243   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في هذه الورقة، نقدم أول بيانات مفاجئة متعددة اللغات متاحة للجمهور.جمعنا حوالي 6M أسئلة وأجوبة أزواج من الويب، في 21 لغة مختلفة.على الرغم من أن هذا أكبر بكثير من مجموعات بيانات استرجاع الأسئلة الشائعة الحالية، إلا أنها تأتي مع تحدياتها الخاصة: ازدواجية المحتوى والتوزيع غير المتكافئ للمواضيع.نعتمد إعداد مماثل لاسترجاع مرور كثيف (DPR) واختبار العديد من التشفير BI على هذه البيانات.تكشف تجاربنا أن نموذج متعدد اللغات يعتمد على XLM-Roberta يحقق أفضل النتائج، باستثناء اللغة الإنجليزية.يبدو أن لغات الموارد السفلية تتعلم من بعضها البعض ككلمة متعددة اللغات يحقق MRR أعلى من تلك الخاصة باللغة.يكشف تحليلنا النوعي عن تنشيط النموذج على تغييرات كلمة بسيطة.نحن نطلق علنا علنا DataSet، نموذج، وتدريب البرنامج النصي.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

وقد حافظت العلامات الدلالية المتعددة اللغات واللغات الدلالية (SRL) مؤخرا عن الاهتمام المتزايد لأن تقنيات تمثيل النص متعدد اللغات أصبحت أكثر فعالية ومتاحة على نطاق واسع. في حين أن العمل الحديث قد حقق النجاح المتزايد، فإن النتائج على معايير الذهب متعدد ة اللغات لا تزال غير قابلة للمقارنة بسهولة عبر اللغات، مما يجعل من الصعب فهم حيث نقف. على سبيل المثال، في Conll-2009، تتأثر المقارنات القياسية لمعيار SRL متعدد اللغات، وهي مقارنات لغة إلى لغوية بحقيقة أن كل لغة لها مجموعة بيانات خاصة بها والتي تختلف عن الآخرين في الحجم والمجالات ومجموعات من التسميات والإرشادات التوضيحية. في هذه الورقة، نتعلم هذه المشكلة واقترح United-SRL، معيار جديد لعطلة SRL متعددة اللغات والتبادلة والاعتماد على التبعية. يوفر United-SRL شرحا متوازيا من الخبراء باستخدام مخزون هيكل الوسائد المشترك، مما يسمح بالمقارنات المباشرة عبر اللغات والدراسات المشجعة على النقل عبر اللغات في SRL. نقوم بإصدار United-SRL V1.0 في https://github.com/sapienzanlp/united-srl.
تقدم هذه الورقة StoryDB --- مجموعة بيانات واسعة متعددة اللغات من الروايات.StoryDB هي جثة من النصوص التي تضم قصص في 42 لغة مختلفة.تتضمن كل لغة 500+ قصص.تشمل بعض اللغات أكثر من 20 ألف قصة.يتم فهرسة كل قصة عبر اللغات والمسمى مع العلامات مثل النوع أو الم وضوع.يعرض Corpus تباين موضعي ولغوي غني ويمكن أن يكون بمثابة مورد لدراسة دور السرد في معالجة اللغة الطبيعية في مختلف اللغات بما في ذلك الموارد المنخفضة.نوضح أيضا كيف يمكن استخدام مجموعة البيانات لقياس ثلاث نماذج متعددة اللغات الحديثة، وهي mdistillbert و mbert و xlm-roberta.
تصفيات مضادة تصف الأحداث التي لم تتم أو لا يمكنها إجراءها. نحن نعتبر مشكلة الكشف المتعرضين (CFD) في مراجعات المنتج. لهذا الغرض، فإننا نحيطر على مجموعة بيانات متعددة اللغات CFD من مراجعات منتجات الأمازون التي تغطي البيانات الإضافية المكتوب باللغات الإ نجليزية والألمانية واليابانية. DataSet فريدة من نوعها لأنها تحتوي على مضادة بلغات متعددة، ويغطي مساحة تطبيق جديدة من مراجعات التجارة الإلكترونية، وتوفر شروح محترفة عالية الجودة. نقوم بتدريب نماذج CFD باستخدام طرق وأساليب تمثيل نصية مختلفة. نجد أن هذه النماذج قوية ضد التحيزات الاجتماعية التي تم تقديمها بسبب اختيار الجملة التي تعتمد على العبارات. علاوة على ذلك، فإن مجموعة بيانات CFD الخاصة بنا متوافقة مع مجموعات البيانات السابقة ويمكن دمجها لتعلم نماذج CFD دقيقة. تطبيق الترجمة الآلية على الأمثلة الإنجليزية المضادة لإنشاء بيانات متعددة اللغات يؤدي بشكل سيء، مما يدل على خصوصية لغة هذه المشكلة، والتي تم تجاهلها حتى الآن.
نقدم متعدد اليوراء، مجموعة بيانات جديدة متعددة اللغات لتصنيف الموضوع للوثائق القانونية. تضم DataSet قوانين الاتحاد الأوروبي 65 ألف (EU)، والتي ترجمت رسميا في 23 لغة، مشروحا بالملصقات المتعددة من تصنيف Eurovoc. نسلط الضوء على تأثير المنفأة الزمنية الا نجراف وأهمية التسلسل الزمني، بدلا من الانقسامات العشوائية. نستخدم DataSet كاختبار لنقل صفرية عبر اللغات، حيث استغلنا المستندات التدريبية المشروح بلغة واحدة (مصدر) لتصنيف المستندات بلغة أخرى (الهدف). نجد أن ضبط النموذج المحدد المتعدد اللغتين (XLM-Roberta، MT5) في لغة مصدر واحدة يؤدي إلى نسيان كارثي من المعرفة متعددة اللغات، وبالتالي، فإن تحويل صفر ضعيف إلى لغات أخرى. استراتيجيات التكيف، وهي استراتيجيات دقيقة، محولات، معترفيت، LNFIT، اقترحت في الأصل تسريع الضبط الجميل للمهام النهائية الجديدة، والمساعدة في الاحتفاظ بالمعرفة متعددة اللغات من الاحتجاج، وتحسين نقل اللغات الصفر قليلا، ولكن تأثيرها يعتمد أيضا على ذلك على النموذج المحدد مسبقا يستخدم وحجم مجموعة التسمية.
في هذه الورقة، نحدد وتقييم منهجية لاستخراج الأسئلة المكانية التي تعتمد على التاريخ من الحوارات البصرية.نقول أن السؤال يعتمد على التاريخ إذا كان يتطلب (أجزاء) تاريخ حواره المراد تفسيره.نقول أن بعض أنواع الأسئلة المرئية تحدد السياق الذي يعتمد عليه سؤال مكاني للمتابعة.نسمي السؤال الذي يقيد السياق: الزناد، ونحن نسمي السؤال المكاني الذي يتطلب الإجابة على سؤال الزناد: Zoomer.نستخرج تلقائيا أزواج الزناد و Zoomer المختلفة بناء على خاصية Visual التي تعتمد الأسئلة عليها (على سبيل المثال، اللون، رقم).نحل تدريجيا يدويا أزواج الزناد و Zoomer المستخرجة تلقائيا للتحقق من أن Zoomers التي تتطلب الزناد.نحن ننفذ بنية أساسية بسيطة بناء على تشفير سوتا متعددة الوسائط.نتائجنا تكشف أن هناك مساحة كبيرة لتحسين الإجابة على الأسئلة التي تعتمد على التاريخ.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا