مشاكل صعبة مثل استجابة الأسئلة المفتوحة للنطاق الرد، وفحص الحقائق، وربط فتحة وملء الكيان تتطلب الوصول إلى مصادر المعرفة الكبيرة والخارجية. في حين أن بعض النماذج تعمل بشكل جيد على المهام الفردية، فإن النماذج العامة النامية صعبة لأن كل مهمة قد تتطلب فه
رسة باهظة الثمن على حساب مصادر المعرفة المخصصة، بالإضافة إلى البنية التحتية المخصصة. لتحفيز البحث على النماذج التي تشرح معلومات محددة في موارد نصية كبيرة، نقدم معيارا للمهام اللغوية المكثفة المعرفة (KILT). ترتكز جميع المهام في Kilt في نفس لقطة Wikipedia، مما يقلل من تحول الهندسة من خلال إعادة استخدام المكونات، بالإضافة إلى تسريع البحوث في هياكل الذاكرة المرجعية المهمة. نحن نختبر كل من خطوط الأساس الخاصة ومجموعة العمل، وتقييم أداء المصب بالإضافة إلى قدرة النماذج على توفير الأصل. نجد أن مؤشر ناقلات كثيف مشترك مقترن بنموذج SEQ2SEQ هو خط أساس قوي، مما يتفوق على المزيد من الأساليب المصنوعة من الخياطة لفحص الحقائق، والإجابة على سؤال المجال المفتوح والحوار، وإنشاء نتائج تنافسية على ربط الكيان وملء الفتحة، عن طريق توليد disambigguated نص. تتوفر بيانات وكود Kilt في https://github.com/facebookresearch/kilt.
أصبحت الشبكات العصبية العميقة ونماذج اللغة الضخمة في كل شيء في تطبيقات اللغة الطبيعية. نظرا لأنهم معروفون بطلب كميات كبيرة من بيانات التدريب، فهناك مجموعة متنامية من العمل لتحسين الأداء في إعدادات الموارد المنخفضة. بدافع من التغييرات الأساسية الأخيرة
نحو النماذج العصبية والطائرة المسبقة والتدريب الشائعة النغمات الجميلة، نقوم بمسح نهج واعدة لمعالجة اللغات الطبيعية المنخفضة الموارد. بعد مناقشة حول الأبعاد المختلفة لتوفر البيانات، نقدم نظرة عامة منظم على الطرق التي تمكن التعلم عند انتشار البيانات التدريبية. يشتمل ذلك على آليات لإنشاء بيانات إضافية مصممة مثل تكبير البيانات والإشراف البعيد بالإضافة إلى إعدادات التعلم التي تقلل من الحاجة إلى الإشراف المستهدف. الهدف من المسح لدينا هو شرح كيف تختلف هذه الطرق في متطلباتهم كضمين لهم ضروري لاختيار تقنية مناسبة لإعداد محدد من الموارد منخفضة. هناك جوانب رئيسية أخرى لهذا العمل هي تسليط الضوء على القضايا المفتوحة وإطلاع الإرشادات الواعدة للبحث في المستقبل.
