توليد استرجاع قوي المعزز لملء فتحة صفرية

تظل تحفيز الرسوم البيانية المعرفة عالية الجودة عالية الجودة من مجموعة معينة من الوثائق مشكلة صعبة في منظمة العفو الدولية. تتمثل إحدى الطرق في إحدى الطرق في هذه المشكلة من خلال التقدم في مهمة ذات صلة تعرف باسم ملء الفتحة. في هذه المهمة، نظرا لاستعلام كيان في شكل [كيان أو فتحة، حاول الأعمال الأخيرة في الحقل حل هذه المهمة في أزياء نهاية إلى نهاية باستخدام نماذج اللغة المستندة إلى الاسترجاع. في هذه الورقة، نقدم نهجا جديدا لملء فتحة الصفر التي تستوعب الصفر الذي يمتد استرجاع المقطع الكثيف مع السلبيات الصعبة وإجراءات تدريب قوية لنماذج التوليد المعزز للاسترجاع. تقارير النموذج لدينا تحسينات كبيرة على كل من مجموعات بيانات ملء فتحة T-REX و ZSRE، وتحسين كلا من توليد استرجاع المقطع ونظام الفتحة، والترتيب في وضع أعلى 1 في لوحة المتصدرين KILT. علاوة على ذلك، نوضح متانة نظامنا في إظهار قدراته على تكيف نطاقه على متن عبارة عن مجموعة جديدة من مجموعة البيانات المشبوكة لملء الفتحة، من خلال مزيج من التعلم الصفر / قليل من الرصاص. نحن نفرج عن شفرة المصدر والنماذج المدربة مسبقا.

Automatically inducing high quality knowledge graphs from a given collection of documents still remains a challenging problem in AI. One way to make headway for this problem is through advancements in a related task known as slot filling. In this task, given an entity query in form of [Entity, Slot, ?], a system is asked to fill' the slot by generating or extracting the missing value exploiting evidence extracted from relevant passage(s) in the given document collection. The recent works in the field try to solve this task in an end-to-end fashion using retrieval-based language models. In this paper, we present a novel approach to zero-shot slot filling that extends dense passage retrieval with hard negatives and robust training procedures for retrieval augmented generation models. Our model reports large improvements on both T-REx and zsRE slot filling datasets, improving both passage retrieval and slot value generation, and ranking at the top-1 position in the KILT leaderboard. Moreover, we demonstrate the robustness of our system showing its domain adaptation capability on a new variant of the TACRED dataset for slot filling, through a combination of zero/few-shot learning. We release the source code and pre-trained models.