التخفيف من السياقات الخاطئة السلبية في سؤال متعدد الوثائق الرد مع تهميش الاسترجاع

غالبا ما تعتمد مهام الإجابة على الأسئلة التي تتطلب معلومات من وثائق متعددة على نموذج استرجاع لتحديد المعلومات ذات الصلة للتفكير. يتم تدريب نموذج الاسترجاع عادة على تعظيم احتمالية الأدلة الداعمة المسمى. ومع ذلك، عند الاسترجاع من نصائح نصية كبيرة مثل Wikipedia، غالبا ما يتم الحصول على الإجابة الصحيحة من مرشحين أدلة متعددة. علاوة على ذلك، لا يتم تصنيف جميع هؤلاء المرشحين على أنها إيجابية أثناء التوضيحية، مما يجعل إشارة التدريب ضعيفة وصاخبة. يتم تفاقم هذه المشكلة عندما تكون الأسئلة غير مرضية أو عندما تكون الإجابات منطقية، نظرا لأن النموذج لا يمكن أن يعتمد على التداخل المعجمي لإجراء اتصال بين الإجابة والدليل الدعم. نقوم بتطوير مخففة جديدة لاسترجاع المحدد الذي يتعامل مع الاستعلامات غير المجهولية، ونظهر أن التهميش حول هذه المجموعة أثناء التدريب يسمح للنموذج لتخفيف السلبيات الخاطئة في دعم التعليقات التوضيحية للأدلة. نحن نختبر طريقتنا في مجموعات بيانات QA متعددة الوثائق، IIRC و hotpotqa. على IIRC، نظهر أن النمذجة المشتركة مع التهميش يحسن أداء نموذجي بنسبة 5.5 F1 ونحقق أداء جديد من بين الفنون 50.5 F1. نوضح أيضا أن تهميش استرجاع ينتج عنه تحسن 4.1 ضمير QA F1 على خط الأساس غير المهمش في HOTPOTQA في إعداد FullWiki.

Question Answering (QA) tasks requiring information from multiple documents often rely on a retrieval model to identify relevant information for reasoning. The retrieval model is typically trained to maximize the likelihood of the labeled supporting evidence. However, when retrieving from large text corpora such as Wikipedia, the correct answer can often be obtained from multiple evidence candidates. Moreover, not all such candidates are labeled as positive during annotation, rendering the training signal weak and noisy. This problem is exacerbated when the questions are unanswerable or when the answers are Boolean, since the model cannot rely on lexical overlap to make a connection between the answer and supporting evidence. We develop a new parameterization of set-valued retrieval that handles unanswerable queries, and we show that marginalizing over this set during training allows a model to mitigate false negatives in supporting evidence annotations. We test our method on two multi-document QA datasets, IIRC and HotpotQA. On IIRC, we show that joint modeling with marginalization improves model performance by 5.5 F1 points and achieves a new state-of-the-art performance of 50.5 F1. We also show that retrieval marginalization results in 4.1 QA F1 improvement over a non-marginalized baseline on HotpotQA in the fullwiki setting.