قراء قراء أوراق البحث الأكاديمي غالبا ما يقرؤون بهدف الإجابة على أسئلة محددة. يمكن للإجابة على الأسئلة التي يمكن أن ترد على هذه الأسئلة إجراء استهلاك المحتوى أكثر كفاءة بكثير. ومع ذلك، فإن بناء هذه الأدوات يتطلب بيانات تعكس صعوبة المهمة الناشئة عن ال
تفكير المعقد حول المطالبات المقدمة في أجزاء متعددة من الورقة. في المقابل، تحتوي الأسئلة الحالية على المعلومات المتعلقة بالمعلومات الرد على مجموعات البيانات عادة أسئلة حول المعلومات العامة من النوع العامل. لذلك نحن نقدم QASPER، مجموعة بيانات من 5049 سؤالا أكثر من 1585 ورقة معالجة اللغة الطبيعية. يتم كتابة كل سؤال بممارس NLP الذي قرأ فقط عنوان وإجراء ملخص للورقة المقابلة، والسؤال يسعى للحصول على معلومات موجودة في النص الكامل. ثم تتم الإجابة على الأسئلة من قبل مجموعة منفصلة من ممارسين NLP الذين يقدمون أيضا الأدلة الداعمة للإجابات. نجد أن النماذج الحالية التي تعمل بشكل جيد على مهام ضمان الجودة الأخرى لا تؤدي بشكل جيد في الإجابة على هذه الأسئلة، وأيضا الأد من البشر بنسبة 27 نقطة على الأقل عند الإجابة عليها من الأوراق بأكملها، تحفز المزيد من الأبحاث في الوثائق التي تأسست، حيث تسعى للحصول على المعلومات، والتي تم تصميم DataSet لدينا لتسهيل.
يركز البحث في مجال المنطق الحالي على تطوير النماذج التي تستخدم معرفة المنطقية للإجابة على أسئلة متعددة الخيارات. ومع ذلك، قد لا تكون النظم المصممة للإجابة على أسئلة متعددة الخيارات مفيدة في التطبيقات التي لا توفر قائمة صغيرة من إجابات المرشحين للاختي
ار من بينها. كخطوة نحو جعل البحث منطق المنطقي أكثر واقعية، نقترح دراسة مسطحة المنطقية المفتوحة العضوية (OPENCSR) --- مهمة الإجابة على سؤال المنطقي دون أي اختيارات محددة مسبقا --- استخدام كموارد فقط حقائق المنطقية مكتوبة باللغة الطبيعية. OpenCSR تحديا بسبب مساحة قرارات كبيرة، ولأن العديد من الأسئلة تتطلب منطق متعدد القفز الضمني. كنعجا من OpenCSR، نقترح نماذج شديدة الفضلة للمناسبة متعددة القفز بشأن حقائق المعرفة. لتقييم أساليب OpenCSR، نقوم بتكييف العديد من معايير المنطق المنطقية الشائعة، وجمع إجابات جديدة متعددة لكل سؤال اختبار عبر مصادر الحشد. تظهر التجارب أن DrFact تفوق أساليب أساسية قوية من قبل هامش كبير.
