QED: إطار ومجموعات بيانات للتفسيرات في الإجابة على السؤال

يوفر نظام الإجابة على الأسئلة التي توفر إجابة بالإضافة إلى تقديم إجابة تفسير للمنطق الذي يؤدي إلى تلك الإجابة بمزايا محتملة من حيث الناضجة والتمويل والثقة. تحقيقا لهذه الغاية، نقترح QED، إطارا غير قابل للتوسيع على الإبلاغ عن التفسيرات على الإبلاغ عن التفسيرات. يحدد Explanation QED العلاقة بين سؤال وجواب وفقا لمفاهيم الدلالية الرسمية مثل المساواة المرجعية والعصا والتنفيذية. وصفنا علنا ​​أن نطلق علنا ​​عن مجموعة بيانات مشروح من التفسيرات QED التي بنيت مجموعة فرعية من مجموعة بيانات أسئلة Google الطبيعية، وتقديم تقرير نماذج أساسية في مهمتين --- جيل التفسير بعد الوظائف بالنظر إلى إجابة ورد على سؤال مشترك وإجابة تفسير وبعد في الإعداد المشترك، تشير النتيجة الواعدة إلى أن التدريب على كمية صغيرة نسبيا من بيانات QED يمكن أن يحسن الإجابة على السؤال. بالإضافة إلى وصف الدوافع الرسمية والنورات الرسمية لنهج QED، فإننا نصف دراسة مستخدمين كبيرة تبين أن وجود تفسيرات QED يحسن بشكل كبير من قدرة الفئات غير المدربة على الأخطاء التي قدمتها خط الأساس القوي العصبي القوي.

A question answering system that in addition to providing an answer provides an explanation of the reasoning that leads to that answer has potential advantages in terms of debuggability, extensibility, and trust. To this end, we propose QED, a linguistically informed, extensible framework for explanations in question answering. A QED explanation specifies the relationship between a question and answer according to formal semantic notions such as referential equality, sentencehood, and entailment. We describe and publicly release an expert-annotated dataset of QED explanations built upon a subset of the Google Natural Questions dataset, and report baseline models on two tasks---post- hoc explanation generation given an answer, and joint question answering and explanation generation. In the joint setting, a promising result suggests that training on a relatively small amount of QED data can improve question answering. In addition to describing the formal, language-theoretic motivations for the QED approach, we describe a large user study showing that the presence of QED explanations significantly improves the ability of untrained raters to spot errors made by a strong neural QA baseline.