Infobert: نهج الطلقة الصفرية لفهم اللغة الطبيعية باستخدام كلمة التضمين

فهم اللغة الطبيعية مهمة مهمة في أنظمة الحوار الحديثة.يصبح أكثر أهمية مع التمديد السريع لوظيفة أنظمة الحوار.في هذا العمل، نقدم نهجا لتعلم تحويل الصفر بالرصاص لمهام تصنيف النوايا وملء الفتحات بناء على نماذج اللغة المدربة مسبقا.نستخدم نماذج محكسية عميقة تغذيها مع الكلام وأوصاف اللغة الطبيعية لحالة المستخدم للحصول على embeddings.ثم تستخدم هذه المدينات من قبل شبكة عصبية صغيرة لإنتاج تنبؤات للحصول على الاحتمالات النية والفتحة.تحقق هذه الهندسة المعمارية نتائج جديدة من الفنون الجديدة في سيناريوهات صفرية بالرصاص.واحدة هي لغة واحدة تتكيف مع المهارات الجديدة وآخر هو التكيف عبر اللغات.

Natural language understanding is an important task in modern dialogue systems. It becomes more important with the rapid extension of the dialogue systems' functionality. In this work, we present an approach to zero-shot transfer learning for the tasks of intent classification and slot-filling based on pre-trained language models. We use deep contextualized models feeding them with utterances and natural language descriptions of user intents to get text embeddings. These embeddings then used by a small neural network to produce predictions for intent and slot probabilities. This architecture achieves new state-of-the-art results in two zero-shot scenarios. One is a single language new skill adaptation and another one is a cross-lingual adaptation.