Kilt: معيار لمهام لغة مكثفة المعرفة

مشاكل صعبة مثل استجابة الأسئلة المفتوحة للنطاق الرد، وفحص الحقائق، وربط فتحة وملء الكيان تتطلب الوصول إلى مصادر المعرفة الكبيرة والخارجية. في حين أن بعض النماذج تعمل بشكل جيد على المهام الفردية، فإن النماذج العامة النامية صعبة لأن كل مهمة قد تتطلب فهرسة باهظة الثمن على حساب مصادر المعرفة المخصصة، بالإضافة إلى البنية التحتية المخصصة. لتحفيز البحث على النماذج التي تشرح معلومات محددة في موارد نصية كبيرة، نقدم معيارا للمهام اللغوية المكثفة المعرفة (KILT). ترتكز جميع المهام في Kilt في نفس لقطة Wikipedia، مما يقلل من تحول الهندسة من خلال إعادة استخدام المكونات، بالإضافة إلى تسريع البحوث في هياكل الذاكرة المرجعية المهمة. نحن نختبر كل من خطوط الأساس الخاصة ومجموعة العمل، وتقييم أداء المصب بالإضافة إلى قدرة النماذج على توفير الأصل. نجد أن مؤشر ناقلات كثيف مشترك مقترن بنموذج SEQ2SEQ هو خط أساس قوي، مما يتفوق على المزيد من الأساليب المصنوعة من الخياطة لفحص الحقائق، والإجابة على سؤال المجال المفتوح والحوار، وإنشاء نتائج تنافسية على ربط الكيان وملء الفتحة، عن طريق توليد disambigguated نص. تتوفر بيانات وكود Kilt في https://github.com/facebookresearch/kilt.

Challenging problems such as open-domain question answering, fact checking, slot filling and entity linking require access to large, external knowledge sources. While some models do well on individual tasks, developing general models is difficult as each task might require computationally expensive indexing of custom knowledge sources, in addition to dedicated infrastructure. To catalyze research on models that condition on specific information in large textual resources, we present a benchmark for knowledge-intensive language tasks (KILT). All tasks in KILT are grounded in the same snapshot of Wikipedia, reducing engineering turnaround through the re-use of components, as well as accelerating research into task-agnostic memory architectures. We test both task-specific and general baselines, evaluating downstream performance in addition to the ability of the models to provide provenance. We find that a shared dense vector index coupled with a seq2seq model is a strong baseline, outperforming more tailor-made approaches for fact checking, open-domain question answering and dialogue, and yielding competitive results on entity linking and slot filling, by generating disambiguated text. KILT data and code are available at https://github.com/facebookresearch/KILT.