على سبيل المثال - تنبؤ النية بالمراقبين

التحدي الرئيسي في أبحاث أنظمة الحوار هو التكيف بشكل فعال وكفاءة مع مجالات جديدة. يتطلب نموذجا قابل للتطوير للتكيف تطوير النماذج التعميمية التي تؤدي بشكل جيد في إعدادات قليلة. في هذه الورقة، نركز على مشكلة تصنيف النية التي تهدف إلى تحديد نوايا المستخدمين المعطاة الكلام الموجهة إلى نظام الحوار. نقترح اقترابين لتحسين تعميم نماذج تصنيف الكلام: (1) مراقبون و (2) تدريب على سبيل المثال لقد أظهر العمل السابق أن النماذج التي تشبه بيرت تميل إلى تنسيق مبلغ كبير من الاهتمام ل [CLS] الرمز المميز، والتي نفترض النتائج في تمثيلات مخففة. المراقبون هم الرموز التي لا تحضرها، وهي بديل من رمزية [CLS] كتمثيل دلالي للكلمات. يتعلم التدريب على سبيل المثال أن تصنف الكلام من خلال مقارنة بالأمثلة، وبالتالي استخدام التشفير الأساسي كنموذج تشابه الجملة. هذه الأساليب مكملة؛ إن تحسين التمثيل من خلال المراقبين يسمحون بالنموذج الذي يحركه المثال إلى تحسين أوجه تشابه الجملة. عند دمجها، فإن الأساليب المقترحة تحقق نتائج أحدث نتائج من ثلاث مجموعات من مجموعات بيانات التنبؤ النية (Banking77، CLINC150، HWU64) في كلا البيانات الكاملة وإعدادات قليلة (10 أمثلة لكل نية). علاوة على ذلك، نوضح أن النهج المقترح يمكن أن ينقل إلى النوايا الجديدة وعبر مجموعات البيانات دون أي تدريب إضافي.

A key challenge of dialog systems research is to effectively and efficiently adapt to new domains. A scalable paradigm for adaptation necessitates the development of generalizable models that perform well in few-shot settings. In this paper, we focus on the intent classification problem which aims to identify user intents given utterances addressed to the dialog system. We propose two approaches for improving the generalizability of utterance classification models: (1) observers and (2) example-driven training. Prior work has shown that BERT-like models tend to attribute a significant amount of attention to the [CLS] token, which we hypothesize results in diluted representations. Observers are tokens that are not attended to, and are an alternative to the [CLS] token as a semantic representation of utterances. Example-driven training learns to classify utterances by comparing to examples, thereby using the underlying encoder as a sentence similarity model. These methods are complementary; improving the representation through observers allows the example-driven model to better measure sentence similarities. When combined, the proposed methods attain state-of-the-art results on three intent prediction datasets (banking77, clinc150, hwu64) in both the full data and few-shot (10 examples per intent) settings. Furthermore, we demonstrate that the proposed approach can transfer to new intents and across datasets without any additional training.