اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدالتدريب عبر اللغات من المتسترجين الكثيف لاسترجاع المستندات
Cross-Lingual Training of Dense Retrievers for Document Retrieval
202
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
لقد أظهر استرجاع كثيف نجاحا كبيرا لمرتبة المرور باللغة الإنجليزية.ومع ذلك، لا تزال فعاليتها للغات غير الإنجليزية غير مستكشفة بسبب الحد من الموارد التدريبية.في هذا العمل، نستكشف تقنيات نقل مختلفة لتحقيق تصنيف الوثيقة من التوضيح باللغة الإنجليزية إلى اللغات غير الإنجليزية.تكشف تجاربنا أن التحويل المستندة إلى نموذج الطلقة الصفرية باستخدام mbert يحسن جودة البحث.نجد أن التحويل اللغوي المستهدف الأكثر إشرافا ضعيفا قادرة على المنافسة مقارنة بنقل اللغة المستهدفة القائمة على الجيل، والذي يتطلب نماذج الترجمة.
Dense retrieval has shown great success for passage ranking in English. However, its effectiveness for non-English languages remains unexplored due to limitation in training resources. In this work, we explore different transfer techniques for document ranking from English annotations to non-English languages. Our experiments reveal that zero-shot model-based transfer using mBERT improves search quality. We find that weakly-supervised target language transfer is competitive compared to generation-based target language transfer, which requires translation models.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
انفجرت الإجابة على الأسئلة المفتوحة في مجال الشعبية مؤخرا بسبب نجاح نماذج استرجاع كثيفة، والتي تجاوزت النماذج المتناقضة باستخدام بعض الأمثلة التدريبية الإشراف فقط. ومع ذلك، في هذه الورقة، نوضح النماذج الكثيفة الحالية ليست بعد الجراد المقدس من استرجاع
ها. نقوم أولا بإنشاء المنفيات، وهي مجموعة من الأسئلة البسيطة والغنية للكيان بناء على حقائق من Wikidata (على سبيل المثال، أين ولد الفرح؟ نحن نبحث في هذه القضية والكشف عن أن المستردات الكثيفة لا يمكن أن تعمم فقط إلى الكيانات المشتركة ما لم يلاحظ أن نمط السؤال صراحة أثناء التدريب. نحرق اثنين من الحلول البسيطة نحو معالجة هذه المشكلة الحاسمة. أولا، نوضح أن تكبير البيانات غير قادر على إصلاح مشكلة التعميم. ثانيا، نجيد أن تشفير مرور أكثر قوة يساعد في تسهيل التكيف بشكل أفضل باستخدام تشفير الأسئلة المتخصصة. نأمل أن يتم إلقاء عملنا الضوء على التحديات في إنشاء مسترد كثيف قوي، يعمل بشكل جيد عبر توزيعات المدخلات المختلفة.
أصبحت نماذج لغة المحولات المدربة مسبقا (LM) لتشفيات تمثيل النص.البحث المسبق يلتزم LMS عميق لتشفير تسلسل النص مثل الجمل والمرورات في تمثيلات ناقلات كثيفة واحدة لمقارنة النص وانتبعدة فعالة.ومع ذلك، تتطلب التشفير الكثيفة الكثير من البيانات والتقنيات الم
تطورة للتدريب بشكل فعال وتعاني في مواقف البيانات المنخفضة.تجد هذه الورقة سبب رئيسي هو أن هيكل العناية الداخلية القياسية ل LMS غير جاهزة للاستخدام للترميزات الكثيفة، والتي تحتاج إلى إجمالي معلومات نصية في التمثيل الكثيف.نقترح ما قبل القطار نحو التشفير الكثيف مع بنية محول رواية، مكثف، حيث ظروف التنبؤ LM على تمثيل كثيف.تعرض تجاربنا تظهر المكثف يحسن أكثر من LM القياسية من قبل هوامش كبيرة على مهام استرجاع النص المختلفة والتشابه.
في العديد من مهام معالجة اللغة الطبيعية، تعد استرجاع مرور وإعادة التعريف بمرتبة المقطع الإجراءان الرئيسيان في إيجاد المعلومات ذات الصلة وتحديدها. بما أن كل من الإجراءين يسهمان في الأداء النهائي، فمن المهم تحسينها بشكل مشترك من أجل تحقيق تحسن متبادل.
في هذه الورقة، نقترح نهج تدريب مشترك رواية لاسترجاع المقطع الكثيف وإعادة إطلاق Reranking. مساهمة رئيسية هي أننا نقدم تقطير List Norwise الديناميكي، حيث نقوم بتصميم نهج تدريبي موحد للأسرار لكل من المسترد و Re-Ranker. أثناء التقطير الديناميكي، يمكن تحسين المسترد و Re-Ranker بشكل متكامل وفقا لمعلومات بعضهم البعض. نقترح أيضا استراتيجية تكبير البيانات الهجينة لبناء مثيلات تدريب متنوعة لنهج تدريب ListWise. تظهر تجارب واسعة فعالية نهجنا على كل من بيانات MSMARCO والأسئلة الطبيعية. يتوفر الكود الخاص بنا في https://github.com/paddlepaddle/rocketqa.
نقدم السيد Tydi، وهي مجموعة بيانات مرجعية متعددة اللغات لاسترجاع أحادي اللغات في أحد عشر لغة متنوعة من الناحية النموذجية، مصممة لتقييم الترتيب مع التمثيلات الكثيفة المستفادة.الهدف من هذا المورد هو أن يحفز البحث في تقنيات استرجاع كثيفة باللغات غير الإ
نجليزية، بدافع من الملاحظات الحديثة أن التقنيات الحالية لتعلم التمثيل تؤدي سيئة عند تطبيقها على بيانات خارج التوزيع.كنقطة انطلاق، نحن نقدم خطوط خطوط خطوط البيانات الخاصة بهذه البيانات الجديدة القائمة على التكيف متعدد اللغات من DPR التي نسميها MDPR ".تبين التجارب أنه على الرغم من أن فعالية MDPR أقل بكثير من BM25، إلا أن تمثيلات كثيفة يبدو أنها توفر إشارات ذات أهمية قيمة، وتحسين نتائج BM25 في Sparse - الهجينة الكثيفة.بالإضافة إلى تحليلات نتائجنا، نناقش أيضا التحديات المستقبلية وتقديم جدول أعمال بحث في استرجاع كثيف متعدد اللغات.يمكن تنزيل السيد Tydi في https://github.com/castorini/mr.tydi.
حققت نماذج لغة الرؤية المحددة الأخيرة أداء مثير للإعجاب على مهام الاسترجاع عبر مشروط باللغة الإنجليزية. ومع ذلك، تعتمد نجاحهم بشكل كبير على توافر العديد من مجموعات بيانات التعليق المشروح على الصورة لإحاطاء، حيث لا تكون النصوص بالضرورة باللغة الإنجليز
ية. على الرغم من أنه يمكننا استخدام أدوات الترجمة الآلية (MT) لترجمة النص غير الإنجليزي إلى اللغة الإنجليزية، فإن الأداء لا يزال يعتمد إلى حد كبير على جودة MT وقد يعاني من مشاكل عالية من الكمون في تطبيقات العالم الحقيقي. تقترح هذه الورقة نهجا جديدا لتعلم تمثيلات متعددة الوسائط عبر اللغات لمطابقة الصور وإياراتها ذات الصلة بلغات متعددة. نجمع بسلاسة بسلاسة أهداف محالمانية عبر اللغات وأهداف محالم الاحتجاج بالعدوان في إطار موحد لتعلم الصور والنص في مساحة تضمين مشتركة من بيانات التسمية التوضيحية باللغة الإنجليزية المتاحة، مونولينغيا ومتوازي Corpus. نظظ أن نهجنا يحقق أداء SOTA في مهام استرجاع على معايير التسمية التوضيحية متعددة اللغات متعددة اللغات متعددة اللغات: multi30k مع التسميات التوضيحية الألمانية و mscoco مع التسميات التوضيحية اليابانية.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
