BIQUAD: نحو QA بناء على فهم النص الأعمق

تسأل الأسئلة الحديثة الإجابة على معايير القراءة والآلة في كثير من الأحيان تقلل من المهمة إلى واحدة من 12 يمتد في مقطع نص معين يجيب على السؤال المحدد. عادة ما تكون هذه النظم غير مطلوبة لفهم النص على مستوى أعمق يسمح بالتفكير الأكثر تعقيدا في المعلومات الواردة. نقدم مجموعة بيانات جديدة تسمى BIQUAD التي تتطلب فهم أعمق من أجل الإجابة على الأسئلة بطريقة استخراجية وملىذة. تتكون DataSet من 4،190 نص مغلقا ومما مجموعه 99،149 زوجا للإجابة على الأسئلة. تقوم النصوص بتوليد تقارير مباراة كرة القدم التي تنشط الأحداث الرئيسية لكل مباراة. تتم مصحوبة جميع النصوص برامج Datalog منظمة تمثل نموذجا (منطقي) من معلوماتها. نظهر أن طرازات ضمان الجودة لا تعمل بشكل جيد على سياقات النموذج الطويلة الصعبة ومتطلبات التفكير التي تطرحتها مجموعة البيانات. على وجه الخصوص، تحقق النماذج القائمة على المحولات الموجودة على النتائج F1 من 39.0 فقط. نوضح كيف تحاكي مجموعات البيانات الاصطناعية هذه المعرفة المهيكلة بالنص الطبيعي وتأمل نموذج المساعدة عند الاقتراب من فهم النص المعقد.

Recent question answering and machine reading benchmarks frequently reduce the task to one of pinpointing spans within a certain text passage that answers the given question. Typically, these systems are not required to actually understand the text on a deeper level that allows for more complex reasoning on the information contained. We introduce a new dataset called BiQuAD that requires deeper comprehension in order to answer questions in both extractive and deductive fashion. The dataset consist of 4,190 closed-domain texts and a total of 99,149 question-answer pairs. The texts are synthetically generated soccer match reports that verbalize the main events of each match. All texts are accompanied by a structured Datalog program that represents a (logical) model of its information. We show that state-of-the-art QA models do not perform well on the challenging long form contexts and reasoning requirements posed by the dataset. In particular, transformer based state-of-the-art models achieve F1-scores of only 39.0. We demonstrate how these synthetic datasets align structured knowledge with natural text and aid model introspection when approaching complex text understanding.