الإجابة على الأسئلة المفتوحة على خطوات التفكير المختلفة من النص

نقوم بتطوير نظام موحد للإجابة مباشرة من أسئلة النص المفتوح النص قد تتطلب عددا مختلفا من خطوات الاسترجاع. نحن نوظف نموذجا واحدا للمحولات متعددة المهام لأداء جميع الملاحات الفرعية اللازمة - - استرجاع الحقائق الداعمة، وإعادة تشغيلها، والتنبؤ بإجابة جميع المستندات المستردة --- بطريقة تكرارية. نتجنب الافتراضات الحاسمة للعمل السابق لا ينقل جيدا إلى إعدادات العالم الحقيقي، بما في ذلك استغلال المعرفة بالعدد الثابت من خطوات الاسترجاع المطلوبة للإجابة على كل سؤال أو استخدام البيانات الوصفية الهيكلية مثل قواعد المعرفة أو روابط الويب التي لها توافر محدود. بدلا من ذلك، نقوم بتصميم نظام يمكنه الرد على أسئلة مفتوحة على أي مجموعة نصية دون معرفة مسبقة بتعقيد المعنى. لمحاكاة هذا الإعداد، نبني معيارا جديدا، يسمى BEERSQA، من خلال الجمع بين مجموعات البيانات الموجودة ذات الخطوة الحالية مع مجموعة جديدة من 530 سؤالا تتطلب ثلاث صفحات ويكيبيديا للرد عليها، توحيد إصدارات ويكيبيديا كوربور في العملية. نظهر أن نموذجنا يوضح أداء تنافسي على كل من المعايير الحالية وهذا المعيار الجديد. نجعل المعيار الجديد متاحا في https://beerqa.github.io/.

We develop a unified system to answer directly from text open-domain questions that may require a varying number of retrieval steps. We employ a single multi-task transformer model to perform all the necessary subtasks---retrieving supporting facts, reranking them, and predicting the answer from all retrieved documents---in an iterative fashion. We avoid crucial assumptions of previous work that do not transfer well to real-world settings, including exploiting knowledge of the fixed number of retrieval steps required to answer each question or using structured metadata like knowledge bases or web links that have limited availability. Instead, we design a system that can answer open-domain questions on any text collection without prior knowledge of reasoning complexity. To emulate this setting, we construct a new benchmark, called BeerQA, by combining existing one- and two-step datasets with a new collection of 530 questions that require three Wikipedia pages to answer, unifying Wikipedia corpora versions in the process. We show that our model demonstrates competitive performance on both existing benchmarks and this new benchmark. We make the new benchmark available at https://beerqa.github.io/.