ينشأ التعلم القليل من الرصاص في سيناريوهات عملية مهمة، كما هو الحال عندما يحتاج نظام فهم اللغة الطبيعية إلى تعلم ملصقات دلالية جديدة للنشاط الناشئ والموارد النادر. في هذه الورقة، نستكشف الأساليب القائمة على استرجاع مهام تعبئة النوايا وملء الفتحات في إعدادات قليلة. تتكبد الأساليب المستندة إلى الاسترداد تنبؤات بناء على الأمثلة المسمى في مؤشر الاسترجاع مماثلة للمدخلات، وبالتالي يمكن أن تتكيف مع مجالات جديدة ببساطة عن طريق تغيير الفهرس دون الحاجة إلى إعادة تدريب النموذج. ومع ذلك، فمن غير تافهة لتطبيق هذه الأساليب على المهام مع مساحة تسمية معقدة مثل ملء الفتحة. تحقيقا لهذه الغاية، نقترح طريقة استرجاع مدفوعة المستوى التي تتعلم تمثيلات محكسية مماثلة للتمثيل مع نفس التسمية عبر هدف Softmax Batch-Softmax الرواية. في وقت الاستدلال، نستخدم ملصقات المسافات المستردة لبناء الهيكل النهائي بأعلى درجة التجميع. تتفوق طريقةنا على الأنظمة السابقة في مختلف إعدادات القليل من الطوائم على معايير Clinc and Senips.
Few-shot learning arises in important practical scenarios, such as when a natural language understanding system needs to learn new semantic labels for an emerging, resource-scarce domain. In this paper, we explore retrieval-based methods for intent classification and slot filling tasks in few-shot settings. Retrieval-based methods make predictions based on labeled examples in the retrieval index that are similar to the input, and thus can adapt to new domains simply by changing the index without having to retrain the model. However, it is non-trivial to apply such methods on tasks with a complex label space like slot filling. To this end, we propose a span-level retrieval method that learns similar contextualized representations for spans with the same label via a novel batch-softmax objective. At inference time, we use the labels of the retrieved spans to construct the final structure with the highest aggregated score. Our method outperforms previous systems in various few-shot settings on the CLINC and SNIPS benchmarks.
References used
https://aclanthology.org/
Intent classification (IC) and slot filling (SF) are critical building blocks in task-oriented dialogue systems. These two tasks are closely-related and can flourish each other. Since only a few utterances can be utilized for identifying fast-emergin
This paper investigates the effectiveness of pre-training for few-shot intent classification. While existing paradigms commonly further pre-train language models such as BERT on a vast amount of unlabeled corpus, we find it highly effective and effic
How to effectively adapt neural machine translation (NMT) models according to emerging cases without retraining? Despite the great success of neural machine translation, updating the deployed models online remains a challenge. Existing non-parametric
Natural Language Processing (NLP) is increasingly relying on general end-to-end systems that need to handle many different linguistic phenomena and nuances. For example, a Natural Language Inference (NLI) system has to recognize sentiment, handle num
In this paper, we study the utilization of pre-trained language models to enable few-shotNatural Language Generation (NLG) in task-oriented dialog systems. We introduce a system consisting of iterative self-training and an extensible mini-template fr