التحدي الرئيسي في البحث عن القراءة غير الإنجليزية للآلة في الرد على الأسئلة (QA) هو عدم وجود مجموعات البيانات المشروح.في هذه الورقة، نقدم Germanquad، مجموعة بيانات من 13،722 مسألة استخراج / إجابة أزواج.لتحسين استنساخ نهج إنشاء DataSet و FOUSTER QA أبحاث حول اللغات الأخرى، فإننا تلخيص الدروس المستفادة وتقييم إعادة صياغة أزواج السؤال / الإجابة كوسيلة لتسريع عملية الشرح.يتفوق نموذج QA الاستخراجي المدرب على Germanquad بشكل كبير على نماذج متعددة اللغات ويظهر أيضا أن بيانات التدريب التي ترجمتها الجهاز لا يمكنها استبدال بيانات التدريب باليد في اللغة المستهدفة.أخيرا، نوضح مجموعة واسعة من تطبيقات Germanquad عن طريق تكييفها إلى Germandpr، ومجموعة بيانات تدريبية لاسترجاع المقطع الكثيف (DPR) وتدريب وتقييم واحدة من أول طرازات DPR غير الإنجليزية.
A major challenge of research on non-English machine reading for question answering (QA) is the lack of annotated datasets. In this paper, we present GermanQuAD, a dataset of 13,722 extractive question/answer pairs. To improve the reproducibility of the dataset creation approach and foster QA research on other languages, we summarize lessons learned and evaluate reformulation of question/answer pairs as a way to speed up the annotation process. An extractive QA model trained on GermanQuAD significantly outperforms multilingual models and also shows that machine-translated training data cannot fully substitute hand-annotated training data in the target language. Finally, we demonstrate the wide range of applications of GermanQuAD by adapting it to GermanDPR, a training dataset for dense passage retrieval (DPR), and train and evaluate one of the first non-English DPR models.
References used
https://aclanthology.org/
Multilingual question answering tasks typically assume that answers exist in the same language as the question. Yet in practice, many languages face both information scarcity---where languages have few reference articles---and information asymmetry--
In open-domain question answering, dense passage retrieval has become a new paradigm to retrieve relevant passages for finding answers. Typically, the dual-encoder architecture is adopted to learn dense representations of questions and passages for s
Most of the existing Knowledge-based Question Answering (KBQA) methods first learn to map the given question to a query graph, and then convert the graph to an executable query to find the answer. The query graph is typically expanded progressively f
Recent advances in open-domain QA have led to strong models based on dense retrieval, but only focused on retrieving textual passages. In this work, we tackle open-domain QA over tables for the first time, and show that retrieval can be improved by a
Dense neural text retrieval has achieved promising results on open-domain Question Answering (QA), where latent representations of questions and passages are exploited for maximum inner product search in the retrieval process. However, current dense