ترغب بنشر مسار تعليمي؟ اضغط هنا

ترتيب مرور مشترك لاسترجاع الأجابة المتنوعة

Joint Passage Ranking for Diverse Multi-Answer Retrieval

430   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نقوم بدراسة استرجاع الأجابة المتعددة، وهي مشكلة غير استكشافية تتطلب استرجاع المقاطع لتغطية إجابات مميزة متعددة لسؤال معين. تتطلب هذه المهمة نمذجة مشتركة للممرات المستردة، حيث يجب ألا تسترجع النماذج مرارا وتكرارا الممرات التي تحتوي على نفس الإجابة بتكلفة مفقودة إجابة صالحة مختلفة. يعد العمل المسبق التركيز على استرجاع الإجابة الفردية محدودا لأنه لا يستطيع السبب في مجموعة المقاطعات المشتركة. في هذه الورقة، نقدم JPR، نموذج استرجاع مقطع مشترك يركز على إعادة إطلاق Reranking. لنموذج الاحتمال المشترك للممرات المستردة، يستخدم JPR لاستخدام Reranker التلقائي الذي يختار تسلسل من المقاطع، ومجهز بخوارزميات تدريب جديدة وفك تشفيرها. بالمقارنة مع النهج المسبقة، يحقق JPR تغطية إجابة أفضل بكثير على ثلاثة مجموعات بيانات متعددة الإجابات. عند الجمع بين مسألة السؤال المصب، يتيح الاسترجاع المحسن نماذج توليد الإجابات الأكبر لأنها تحتاج إلى النظر في عدد أقل من المقاطع، وإنشاء حالة جديدة من بين الفن.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

في العديد من مهام معالجة اللغة الطبيعية، تعد استرجاع مرور وإعادة التعريف بمرتبة المقطع الإجراءان الرئيسيان في إيجاد المعلومات ذات الصلة وتحديدها. بما أن كل من الإجراءين يسهمان في الأداء النهائي، فمن المهم تحسينها بشكل مشترك من أجل تحقيق تحسن متبادل. في هذه الورقة، نقترح نهج تدريب مشترك رواية لاسترجاع المقطع الكثيف وإعادة إطلاق Reranking. مساهمة رئيسية هي أننا نقدم تقطير List Norwise الديناميكي، حيث نقوم بتصميم نهج تدريبي موحد للأسرار لكل من المسترد و Re-Ranker. أثناء التقطير الديناميكي، يمكن تحسين المسترد و Re-Ranker بشكل متكامل وفقا لمعلومات بعضهم البعض. نقترح أيضا استراتيجية تكبير البيانات الهجينة لبناء مثيلات تدريب متنوعة لنهج تدريب ListWise. تظهر تجارب واسعة فعالية نهجنا على كل من بيانات MSMARCO والأسئلة الطبيعية. يتوفر الكود الخاص بنا في https://github.com/paddlepaddle/rocketqa.
استرجاع المرور والترتيب هو مهمة رئيسية في الإجابة على الأسئلة المفتوحة واسترجاع المعلومات. تعتمد الأساليب الفعالة الحالية في الغالب على المستردين المعتمدين على النموذج العميق المدربين مسبقا. تم عرض هذه الأساليب نموذجا بفعالية المطابقة الدلالية بين ال استعلامات والمرورات، أيضا في وجود عدم تطابق الكلمات الرئيسية، أي الممرات ذات الصلة بالاستعلام ولكن لا تحتوي على كلمات رئيسية مهمة. في هذه الورقة، نعتبر المسترد الكثيف (DR) وطريقة استرجاع الممر، و Re-Ranker Reveer، وهي طريقة إعادة ترتيب الشعبية. في هذا السياق، نحقق رسميا كيفية استجابة هذه النماذج والتكيف مع نوع معين من عدم تطابق الكلمة الرئيسية - التي تحدث عن طريق الكلمة الأساسية التي تحدث في استفسارات. من خلال التحقيق التجريبي، نجد أن الأخطاء المطبعية يمكن أن تؤدي إلى انخفاض كبير في فعالية الاسترجاع والترتيب. بعد ذلك اقترحنا إطارا بسيطا للتدريب في الطباعة المطبعية عن DR و Bert Re-Ranker لمعالجة هذه المسألة. نظرا لنتائجنا التجريبية على مجموعة بيانات مرتبة مرور MS MARCO، بإظهار مجموعة بيانات MS MARCO، من خلال التدريب على الأخطاء المطبعية المقترحة، يمكن أن يصبح تدريب DR و Bert Re-Ranker قويا للمخططات المطبعية في الاستفسارات، مما يؤدي إلى تحسين فعالية محسنة بشكل كبير مقارنة بالنماذج المدربة دون محاسبة بشكل مناسب عن الأخطاء المطبعية.
في سياق استرجاع المرفق العصبي، ندرس ثلاث تقنيات واعدة: توليد البيانات الاصطناعية، أخذ العينات السلبية، والانصهار. نحن نحقق بشكل منهجي كيف تسهم هذه التقنيات في أداء نظام الاسترجاع وكيف تكمل بعضها البعض. نقترح إطارا متعدد المراحل يتكون من التدريب المسب ق مع البيانات الاصطناعية، والضبط بشكل جيد مع البيانات المسمى، والأماينة السلبية في كلتا المرحلتين. نقوم بدراسة ست استراتيجيات أخذ العينات السلبية وتطبيقها على مرحلة ضبط الدقيقة، وكخادمة جديرة بالملاحظة، إلى البيانات الاصطناعية التي نستخدمها للتدريب المسبق. أيضا، نستكشف أساليب الانصهار التي تجمع بين السلبيات من استراتيجيات مختلفة. نقيم نظامنا باستخدام مهام استرجاع مرور اثنين للنطاق المفتوح واستخدام MS MARCO. تظهر تجاربنا أن زيادة التباين السلبي في كلتا المراحل فعالة لتحسين دقة استرجاع المرور، والأهم من ذلك، كما أنها تظهر أن توليد البيانات الاصطناعية والأماينة السلبية لها فوائد مضافة. علاوة على ذلك، فإن استخدام الانصهار من الأنواع المختلفة يسمح لنا بالوصول إلى الأداء الذي يحدد مستوى جديد من بين الفنادق في قسمين من المهام التي تقييمناها.
Dual-Encoders هي آلية واعدة لاسترجاع الإجابة في أنظمة الإجابة على الأسئلة (QA). حاليا معظم التشفير المزدوج التقليدية تعلم التمثيل الدلالي للأسئلة والأجوبة فقط من خلال نقاط مطابقة. اقترح الباحثون تقديم ميزات تفاعلات ضمان الجودة في وظيفة التهديف ولكن ب تكلفة منخفضة الكفاءة في مرحلة الاستدلال. للحفاظ على الترميز المستقل للأسئلة والأجوبة أثناء مرحلة الاستدلال، يتم تقديم التشفير التلقائي التلقائي بشكل أكبر لإعادة بناء الإجابات (الأسئلة) من Asceddings من السؤال (الإجابة) بمثابة مهمة مساعدة لتعزيز تفاعل QA في مرحلة التدريب في مرحلة التدريب في مرحلة التدريب في مرحلة التدريب في مرحلة التدريب. ومع ذلك، فإن احتياجات جيل النص واسترجاع الإجابة مختلفة، مما يؤدي إلى صلابة في التدريب. في هذا العمل، نقترح إطارا لتعزيز نموذج المشفرين المزدوجين مع الإجابة على السؤال وآلية محاذاة هندسية جديدة (GAM) لمواءمة الهندسة من المدينات من الترميز المزدوج مع ذلك من التشفير عبر التشفير. تظهر النتائج التجريبية الواسعة أن إطارنا يحسن بشكل كبير من طراز الترميز المزدوج وتفوق على الطريقة التي تظهر على مجموعة بيانات استرجاع الإجابة المتعددة.
في الإجابة على الأسئلة المفتوحة للنطاق، أصبح استرجاع المقطع الكثيف نموذجا جديدا لاسترداد الممرات ذات الصلة لإيجاد الإجابات. عادة ما يتم اعتماد بنية التشفير المزدوجة لتعلم تمثيلات كثيفة من الأسئلة والممرات للمطابقة الدلالية. ومع ذلك، من الصعب تدريب تش فير مزدوج بشكل فعال بسبب التحديات بما في ذلك التناقض بين التدريب والاستدلال، ووجود إيجابيات غير محدودة وبيانات تدريب محدودة. لمعالجة هذه التحديات، نقترح نهج تدريبي محسن، يسمى Rocketqa، لتحسين استرجاع الممر الكثيف. نجعل ثلاث مساهمات تقنية رئيسية في Rocketqa، وهي السلبيات عبر الدفعة، السلبيات الصلبة الشاقة وزعم البيانات. تظهر نتائج التجربة أن Rocketqa تتفوق بشكل كبير على النماذج السابقة من بين الفنادق السابقة على كل من MSMARCO والأسئلة الطبيعية. نقوم أيضا بإجراء تجارب مكثفة لفحص فعالية الاستراتيجيات الثلاث في Rocketqa. علاوة على ذلك، نوضح أن أداء ضمان الجودة المناسبة يمكن تحسينه بناء على مسترد Rocketqa لدينا.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا