Germanquad و Germandpr: تحسين سؤال غير الإنجليزية الإجابة على واسترجاع المرور

التحدي الرئيسي في البحث عن القراءة غير الإنجليزية للآلة في الرد على الأسئلة (QA) هو عدم وجود مجموعات البيانات المشروح.في هذه الورقة، نقدم Germanquad، مجموعة بيانات من 13،722 مسألة استخراج / إجابة أزواج.لتحسين استنساخ نهج إنشاء DataSet و FOUSTER QA أبحاث حول اللغات الأخرى، فإننا تلخيص الدروس المستفادة وتقييم إعادة صياغة أزواج السؤال / الإجابة كوسيلة لتسريع عملية الشرح.يتفوق نموذج QA الاستخراجي المدرب على Germanquad بشكل كبير على نماذج متعددة اللغات ويظهر أيضا أن بيانات التدريب التي ترجمتها الجهاز لا يمكنها استبدال بيانات التدريب باليد في اللغة المستهدفة.أخيرا، نوضح مجموعة واسعة من تطبيقات Germanquad عن طريق تكييفها إلى Germandpr، ومجموعة بيانات تدريبية لاسترجاع المقطع الكثيف (DPR) وتدريب وتقييم واحدة من أول طرازات DPR غير الإنجليزية.

A major challenge of research on non-English machine reading for question answering (QA) is the lack of annotated datasets. In this paper, we present GermanQuAD, a dataset of 13,722 extractive question/answer pairs. To improve the reproducibility of the dataset creation approach and foster QA research on other languages, we summarize lessons learned and evaluate reformulation of question/answer pairs as a way to speed up the annotation process. An extractive QA model trained on GermanQuAD significantly outperforms multilingual models and also shows that machine-translated training data cannot fully substitute hand-annotated training data in the target language. Finally, we demonstrate the wide range of applications of GermanQuAD by adapting it to GermanDPR, a training dataset for dense passage retrieval (DPR), and train and evaluate one of the first non-English DPR models.