يوفر نظام الإجابة على الأسئلة التي توفر إجابة بالإضافة إلى تقديم إجابة تفسير للمنطق الذي يؤدي إلى تلك الإجابة بمزايا محتملة من حيث الناضجة والتمويل والثقة. تحقيقا لهذه الغاية، نقترح QED، إطارا غير قابل للتوسيع على الإبلاغ عن التفسيرات على الإبلاغ عن التفسيرات. يحدد Explanation QED العلاقة بين سؤال وجواب وفقا لمفاهيم الدلالية الرسمية مثل المساواة المرجعية والعصا والتنفيذية. وصفنا علنا أن نطلق علنا عن مجموعة بيانات مشروح من التفسيرات QED التي بنيت مجموعة فرعية من مجموعة بيانات أسئلة Google الطبيعية، وتقديم تقرير نماذج أساسية في مهمتين --- جيل التفسير بعد الوظائف بالنظر إلى إجابة ورد على سؤال مشترك وإجابة تفسير وبعد في الإعداد المشترك، تشير النتيجة الواعدة إلى أن التدريب على كمية صغيرة نسبيا من بيانات QED يمكن أن يحسن الإجابة على السؤال. بالإضافة إلى وصف الدوافع الرسمية والنورات الرسمية لنهج QED، فإننا نصف دراسة مستخدمين كبيرة تبين أن وجود تفسيرات QED يحسن بشكل كبير من قدرة الفئات غير المدربة على الأخطاء التي قدمتها خط الأساس القوي العصبي القوي.
A question answering system that in addition to providing an answer provides an explanation of the reasoning that leads to that answer has potential advantages in terms of debuggability, extensibility, and trust. To this end, we propose QED, a linguistically informed, extensible framework for explanations in question answering. A QED explanation specifies the relationship between a question and answer according to formal semantic notions such as referential equality, sentencehood, and entailment. We describe and publicly release an expert-annotated dataset of QED explanations built upon a subset of the Google Natural Questions dataset, and report baseline models on two tasks---post- hoc explanation generation given an answer, and joint question answering and explanation generation. In the joint setting, a promising result suggests that training on a relatively small amount of QED data can improve question answering. In addition to describing the formal, language-theoretic motivations for the QED approach, we describe a large user study showing that the presence of QED explanations significantly improves the ability of untrained raters to spot errors made by a strong neural QA baseline.
References used
https://aclanthology.org/
NLP research in Hebrew has largely focused on morphology and syntax, where rich annotated datasets in the spirit of Universal Dependencies are available. Semantic datasets, however, are in short supply, hindering crucial advances in the development o
This study describes the development of a Portuguese Community-Question Answering benchmark in the domain of Diabetes Mellitus using a Recognizing Question Entailment (RQE) approach. Given a premise question, RQE aims to retrieve semantically similar
Abstract A desirable property of a reference-based evaluation metric that measures the content quality of a summary is that it should estimate how much information that summary has in common with a reference. Traditional text overlap based metrics su
The evaluation of question answering models compares ground-truth annotations with model predictions. However, as of today, this comparison is mostly lexical-based and therefore misses out on answers that have no lexical overlap but are still semanti
While diverse question answering (QA) datasets have been proposed and contributed significantly to the development of deep learning models for QA tasks, the existing datasets fall short in two aspects. First, we lack QA datasets covering complex ques