عدد قليل من تصنيف القوى وملء الفتحة مع أمثلة استرجاع

ينشأ التعلم القليل من الرصاص في سيناريوهات عملية مهمة، كما هو الحال عندما يحتاج نظام فهم اللغة الطبيعية إلى تعلم ملصقات دلالية جديدة للنشاط الناشئ والموارد النادر. في هذه الورقة، نستكشف الأساليب القائمة على استرجاع مهام تعبئة النوايا وملء الفتحات في إعدادات قليلة. تتكبد الأساليب المستندة إلى الاسترداد تنبؤات بناء على الأمثلة المسمى في مؤشر الاسترجاع مماثلة للمدخلات، وبالتالي يمكن أن تتكيف مع مجالات جديدة ببساطة عن طريق تغيير الفهرس دون الحاجة إلى إعادة تدريب النموذج. ومع ذلك، فمن غير تافهة لتطبيق هذه الأساليب على المهام مع مساحة تسمية معقدة مثل ملء الفتحة. تحقيقا لهذه الغاية، نقترح طريقة استرجاع مدفوعة المستوى التي تتعلم تمثيلات محكسية مماثلة للتمثيل مع نفس التسمية عبر هدف Softmax Batch-Softmax الرواية. في وقت الاستدلال، نستخدم ملصقات المسافات المستردة لبناء الهيكل النهائي بأعلى درجة التجميع. تتفوق طريقةنا على الأنظمة السابقة في مختلف إعدادات القليل من الطوائم على معايير Clinc and Senips.

Few-shot learning arises in important practical scenarios, such as when a natural language understanding system needs to learn new semantic labels for an emerging, resource-scarce domain. In this paper, we explore retrieval-based methods for intent classification and slot filling tasks in few-shot settings. Retrieval-based methods make predictions based on labeled examples in the retrieval index that are similar to the input, and thus can adapt to new domains simply by changing the index without having to retrain the model. However, it is non-trivial to apply such methods on tasks with a complex label space like slot filling. To this end, we propose a span-level retrieval method that learns similar contextualized representations for spans with the same label via a novel batch-softmax objective. At inference time, we use the labels of the retrieved spans to construct the final structure with the highest aggregated score. Our method outperforms previous systems in various few-shot settings on the CLINC and SNIPS benchmarks.