SEMEVAL-2021 المهمة 9: التحقق من الحقائق وأدلة العثور على البيانات الجدولة في المستندات العلمية (حقائق SEM-Tab)

تعد فهم الجداول مهمة مهمة وذات صلة تتضمن فهم بنية الجدول وكذلك القدرة على مقارنة ومعلومات التباين داخل الخلايا. في هذه الورقة، نتعامل مع هذا التحدي من خلال تقديم مجموعة بيانات جديدة ومهام جديدة تعالج هذا الهدف في مهمة مشتركة في مهمة Semeval 2020 9: التحقق من الحقائق وأدلة العثور على بيانات جدولية في الوثائق العلمية (حقائق SEM-Tab-Facts). تحتوي DataSet الخاصة بنا على 981 طاولة تم إنشاؤها يدويا وحدات بيانات تم إنشاؤها تلقائيا من 1980 طاولة توفر أكثر من 180 كيلو وايت وأكثر من 16 متر من التعليقات التوضيحية. ظهرت حقائق SEM-Tab مهام فرعية. في مهمة فرعية أ، كان الهدف هو تحديد ما إذا كان بيان مدعوم أو دحض أو غير معروف فيما يتعلق بجدول. في المهمة الفرعية B، كان التركيز على تحديد الخلايا المحددة للطاولة التي توفر أدلة على البيان. 69 وقعت فرق للمشاركة في المهمة مع 19 تقارير ناجحة إلى الفرعية و 12 من عروض ناجحة إلى Subtask B. نقدم نتائجنا والنتائج الرئيسية من المسابقة.

Understanding tables is an important and relevant task that involves understanding table structure as well as being able to compare and contrast information within cells. In this paper, we address this challenge by presenting a new dataset and tasks that addresses this goal in a shared task in SemEval 2020 Task 9: Fact Verification and Evidence Finding for Tabular Data in Scientific Documents (SEM-TAB-FACTS). Our dataset contains 981 manually-generated tables and an auto-generated dataset of 1980 tables providing over 180K statement and over 16M evidence annotations. SEM-TAB-FACTS featured two sub-tasks. In sub-task A, the goal was to determine if a statement is supported, refuted or unknown in relation to a table. In sub-task B, the focus was on identifying the specific cells of a table that provide evidence for the statement. 69 teams signed up to participate in the task with 19 successful submissions to subtask A and 12 successful submissions to subtask B. We present our results and main findings from the competition.