المنفرد المنفرد: بناء روبوتات المهام على نطاق واسع مع التعلم النقل والتدريس الجهاز

مجردة نحن نقدم طريقة جديدة، منفردا، 1 التي تستخدم التعلم نقل وتدريس الجهاز لبناء روبوتات المهام على نطاق واسع. نقوم بمعلمات أنظمة الحوار الموجهة نحو المهام المعيارية الكلاسيكية باستخدام نموذج لغة تراجع تلقائي يستند إلى المحولات، والتي تضم وحدات حوار مختلفة في نموذج عصبي واحد. نحن قبل التدريب مسبقا، على برج الحوار غير المتجانس، نموذج توليد الاستجابة المتطلم، الذي يمكن أن يؤدي إلى إنشاء ردود حوار حول أهداف المستخدم ومعرفة العالم الحقيقي لإنجاز المهمة. يمكن تكييف النموذج المدرب مسبقا بكفاءة لإنجاز مهام جديدة مع حفنة من مربعات الحوار الخاصة بمهام المهام عبر تدريس الجهاز، حيث يتم إنشاء عينات التدريب من قبل معلمي البشر يتفاعلون مع النظام. تبين التجارب أن (ط) ينشئ المنفرد من المنازل من من من بين الفن في معايير الحوار الموجهة نحو المهام المدروسة جيدا، بما في ذلك Camrest676 و Mulotwoz؛ (2) في إعدادات الطاقة الدقيقة القليلة، يتفوق المنفر المنفرد بشكل كبير على الطرق الحالية؛ (3) استخدام التدريس الآلي يقلل بشكل كبير من تكلفة وضع العلامات للضبط الجميل. تتوفر النماذج والأدوات المدربة مسبقا في HTTPS://aka.ms/Soloist.

Abstract We present a new method, Soloist,1 that uses transfer learning and machine teaching to build task bots at scale. We parameterize classical modular task-oriented dialog systems using a Transformer-based auto-regressive language model, which subsumes different dialog modules into a single neural model. We pre-train, on heterogeneous dialog corpora, a task-grounded response generation model, which can generate dialog responses grounded in user goals and real-world knowledge for task completion. The pre-trained model can be efficiently adapted to accomplish new tasks with a handful of task-specific dialogs via machine teaching, where training samples are generated by human teachers interacting with the system. Experiments show that (i)Soloist creates new state-of-the-art on well-studied task-oriented dialog benchmarks, including CamRest676 and MultiWOZ; (ii) in the few-shot fine-tuning settings, Soloist significantly outperforms existing methods; and (iii) the use of machine teaching substantially reduces the labeling cost of fine-tuning. The pre-trained models and codes are available at https://aka.ms/soloist.