رائع: فحص الحقائق بناء على فهم اللغة على المعلومات غير المنظمة والمنظم

كجزء من المهمة المشتركة الحميرة، قمنا بتطوير بنية قوية ومضبوطة بدقة للتعامل مع الاسترجاع المشترك وتتبعها على البيانات النصية وكذلك البيانات الهيكلية مثل الجداول.اقترحنا خططين تدريبي لمعالجة العقبات المتأصلة لمجموعات البيانات متعددة الوسائط متعددة القفزات.أول واحد يسمح بإجراء استرجاع قوي لمجموعات الأدلة الكاملة، في حين أن المرء الثاني يتيح الاستيطاط الاستفادة الكاملة من مدخلات الأدلة الصاخبة.بالإضافة إلى ذلك، كشف عملنا عن رؤى مهمة وسيلة بحثية محتملة للتحسين في المستقبل على هذا النوع من مجموعة البيانات.في التقييم الأولي حول مجموعة اختبار المهام المشتركة الحميرة، يحقق نظامنا 0.271 درجة حمامة، مع استدعاء الأدلة 0.4258 ودقة استقامة 0.5607.

As part of the FEVEROUS shared task, we developed a robust and finely tuned architecture to handle the joint retrieval and entailment on text data as well as structured data like tables. We proposed two training schemes to tackle the hurdles inherent to multi-hop multi-modal datasets. The first one allows having a robust retrieval of full evidence sets, while the second one enables entailment to take full advantage of noisy evidence inputs. In addition, our work has revealed important insights and potential avenue of research for future improvement on this kind of dataset. In preliminary evaluation on the FEVEROUS shared task test set, our system achieves 0.271 FEVEROUS score, with 0.4258 evidence recall and 0.5607 entailment accuracy.