Gandalf: اسم الشخصيات العامة الوصف DataSet لخيال طويل

تقدم هذه الورقة مجموعة بيانات مسؤولة متعددة الخيارات متعددة المدى (QA)، بناء على نصوص كتاب الخيال الكامل الطول. يتم صياغة الأسئلة كأسئلة متعددة الخيارات ذات 10 اتجاهين، حيث تتمثل المهمة في تحديد اسم الحرف الصحيح مع إعطاء وصف حرفي أو نائبا للعكس. يتم صياغة كل وصف حرف في النص الطبيعي وغالبا ما يحتوي على معلومات من عدة أقسام في جميع أنحاء الكتاب. نحن نقدم 20،000 سؤال تم إنشاؤه من 10،000 أوصاف مشروح يدويا من الشخصيات من 177 كتابا تحتوي على 152،917 كلمة في المتوسط. نحن نتطلع إلى الخطاب الحالي فيما يتعلق بتحيز DataSet والتسرب بواسطة إجراء مجهول بسيط، مما يتيح بدوره إمكانيات التحقيق المثيرة للاهتمام. أخيرا، نظهر أن خوارزميات الأساس المناسبة تؤدي بشكل سيء للغاية في هذه المهمة، مع حجم الكتاب نفسه مما يجعله غير تافهة لمحاولة حل ضمان الجودة القائم على المحولات. هذا يترك مجالا واسعا للتحسين في المستقبل، وتلميحات في الحاجة إلى نوع مختلف تماما من الحل.

This paper introduces a long-range multiple-choice Question Answering (QA) dataset, based on full-length fiction book texts. The questions are formulated as 10-way multiple-choice questions, where the task is to select the correct character name given a character description, or vice-versa. Each character description is formulated in natural text and often contains information from several sections throughout the book. We provide 20,000 questions created from 10,000 manually annotated descriptions of characters from 177 books containing 152,917 words on average. We address the current discourse regarding dataset bias and leakage by a simple anonymization procedure, which in turn enables interesting probing possibilities. Finally, we show that suitable baseline algorithms perform very poorly on this task, with the book size itself making it non-trivial to attempt a Transformer-based QA solution. This leaves ample room for future improvement, and hints at the need for a completely different type of solution.