قراء قراء أوراق البحث الأكاديمي غالبا ما يقرؤون بهدف الإجابة على أسئلة محددة. يمكن للإجابة على الأسئلة التي يمكن أن ترد على هذه الأسئلة إجراء استهلاك المحتوى أكثر كفاءة بكثير. ومع ذلك، فإن بناء هذه الأدوات يتطلب بيانات تعكس صعوبة المهمة الناشئة عن التفكير المعقد حول المطالبات المقدمة في أجزاء متعددة من الورقة. في المقابل، تحتوي الأسئلة الحالية على المعلومات المتعلقة بالمعلومات الرد على مجموعات البيانات عادة أسئلة حول المعلومات العامة من النوع العامل. لذلك نحن نقدم QASPER، مجموعة بيانات من 5049 سؤالا أكثر من 1585 ورقة معالجة اللغة الطبيعية. يتم كتابة كل سؤال بممارس NLP الذي قرأ فقط عنوان وإجراء ملخص للورقة المقابلة، والسؤال يسعى للحصول على معلومات موجودة في النص الكامل. ثم تتم الإجابة على الأسئلة من قبل مجموعة منفصلة من ممارسين NLP الذين يقدمون أيضا الأدلة الداعمة للإجابات. نجد أن النماذج الحالية التي تعمل بشكل جيد على مهام ضمان الجودة الأخرى لا تؤدي بشكل جيد في الإجابة على هذه الأسئلة، وأيضا الأد من البشر بنسبة 27 نقطة على الأقل عند الإجابة عليها من الأوراق بأكملها، تحفز المزيد من الأبحاث في الوثائق التي تأسست، حيث تسعى للحصول على المعلومات، والتي تم تصميم DataSet لدينا لتسهيل.
Readers of academic research papers often read with the goal of answering specific questions. Question Answering systems that can answer those questions can make consumption of the content much more efficient. However, building such tools requires data that reflect the difficulty of the task arising from complex reasoning about claims made in multiple parts of a paper. In contrast, existing information-seeking question answering datasets usually contain questions about generic factoid-type information. We therefore present Qasper, a dataset of 5049 questions over 1585 Natural Language Processing papers. Each question is written by an NLP practitioner who read only the title and abstract of the corresponding paper, and the question seeks information present in the full text. The questions are then answered by a separate set of NLP practitioners who also provide supporting evidence to answers. We find that existing models that do well on other QA tasks do not perform well on answering these questions, underperforming humans by at least 27 F1 points when answering them from entire papers, motivating further research in document-grounded, information-seeking QA, which our dataset is designed to facilitate.
References used
https://aclanthology.org/
Information seeking is an essential step for open-domain question answering to efficiently gather evidence from a large corpus. Recently, iterative approaches have been proven to be effective for complex questions, by recursively retrieving new evide
In this paper, we define and evaluate a methodology for extracting history-dependent spatial questions from visual dialogues. We say that a question is history-dependent if it requires (parts of) its dialogue history to be interpreted. We argue that
People utilize online forums to either look for information or to contribute it. Because of their growing popularity, certain online forums have been created specifically to provide support, assistance, and opinions for people suffering from mental i
Existing relation extraction (RE) methods typically focus on extracting relational facts between entity pairs within single sentences or documents. However, a large quantity of relational facts in knowledge bases can only be inferred across documents
We present GerDaLIR, a German Dataset for Legal Information Retrieval based on case documents from the open legal information platform Open Legal Data. The dataset consists of 123K queries, each labelled with at least one relevant document in a colle