فحص الحقائق القائمة على الأدلة للمطالبات المتعلقة بالصحة

تلقت مهمة التحقق من صحة المطالبات في الوثائق النصية، أو فحص الحقائق، اهتماما كبيرا في السنوات الأخيرة. تحتوي العديد من مجموعات بيانات الحقائق القائمة على الأدلة الموجودة على المطالبات الاصطناعية والنماذج المدربة على هذه البيانات قد لا تتمكن من التحقق من مطالبات العالم الحقيقي. وعليا بعض الدراسات التي تعالجت التحقق من الحقائق القائمة على الأدلة للمطالبات المتعلقة بالصحة التي تتطلب الخبرات الطبية أو الأدلة من الأدبيات العلمية. في هذه الورقة، نقدم صحة، مجموعة بيانات جديدة لفحص الحقائق القائم على الأدلة للمطالبات المتعلقة بالصحة التي تسمح بدراسة صلاحية المطالبات في العالم الحقيقي من خلال تقييم صدقها ضد المقالات العلمية. باستخدام طريقة إنشاء بيانات ثلاث خطوات، استجبت لأول مرة مطالبات عالمية حقيقية من المقتطفات التي تم إرجاعها بواسطة محرك بحث للأسئلة حول CovID-19. ثم استرجاعنا تلقائيا وإعادة صياغة الأوراق العلمية ذات الصلة باستخدام نموذج T5 القائم على الصلة. وأخيرا، تم تفاح العلاقات بين كل بيان أدلة والمطالبة المرتبطة يدويا كدعم ودحض ومحايد. للتحقق من صحة مجموعة البيانات التي تم إنشاؤها من 14،330 أزواج مطالبة الأدلة، طورت نماذج خط الأساس بناء على نماذج اللغة المحددة مسبقا. أظهرت تجاربنا أن التدريبات التدريبية العميقة في المطالبات الطبية في العالم الحقيقي تعمل بشكل كبير على تحسين الأداء مقارنة بالنماذج المدربة على مطالبات الاصطناعية والمفتوحة. تشير النتائج الخاصة بنا والتحليلات اليدوية إلى أن صحية يوفر مجموعة بيانات واقعية وصعبة للجهود المستقبلية بشأن التحقق من الحقائق القائمة على الأدلة للمطالبات المتعلقة بالصحة. تتوفر DataSet، التعليمات البرمجية المصدر، لوحة المتصدرين في https://github.com/sarrouti/healthver.

The task of verifying the truthfulness of claims in textual documents, or fact-checking, has received significant attention in recent years. Many existing evidence-based factchecking datasets contain synthetic claims and the models trained on these data might not be able to verify real-world claims. Particularly few studies addressed evidence-based fact-checking of health-related claims that require medical expertise or evidence from the scientific literature. In this paper, we introduce HEALTHVER, a new dataset for evidence-based fact-checking of health-related claims that allows to study the validity of real-world claims by evaluating their truthfulness against scientific articles. Using a three-step data creation method, we first retrieved real-world claims from snippets returned by a search engine for questions about COVID-19. Then we automatically retrieved and re-ranked relevant scientific papers using a T5 relevance-based model. Finally, the relations between each evidence statement and the associated claim were manually annotated as SUPPORT, REFUTE and NEUTRAL. To validate the created dataset of 14,330 evidence-claim pairs, we developed baseline models based on pretrained language models. Our experiments showed that training deep learning models on real-world medical claims greatly improves performance compared to models trained on synthetic and open-domain claims. Our results and manual analysis suggest that HEALTHVER provides a realistic and challenging dataset for future efforts on evidence-based fact-checking of health-related claims. The dataset, source code, and a leaderboard are available at https://github.com/sarrouti/healthver.