جعلت نموذج الاستفادة من النماذج اللغوية الكبيرة المدربة مسبقا تقدما ملحوظا على معايير نظم الحوار الموجهة نحو المهام (TOD).في هذه الورقة، نجمع بين هذه النموذج مع إطار تعليمي متعدد المهام لنمذجة TOD نهاية إلى الطرفية من خلال اعتماد التنبؤ SPAN كامرأة م
ساعدة.في الإعداد المحرز، يحقق نموذجنا نتائج أحدث نتائج جديدة مع درجات مشتركة من 108.3 و 107.5 على MultiWoz 2.0 و MultiWoz 2.1، على التوالي.علاوة على ذلك، نوضح أن التعلم متعدد المهام يحسن ليس فقط أداء النموذج ولكن قدرة تعميمه من خلال تجارب تكيف المجال في إعداد القليل من اللقطة.الرمز متاح في github.com/bepoetree/mttod.
يعد عدم وجود بيانات تدريبية المسمى للميزات الجديدة مشكلة شائعة في أنظمة الحوار في العالم الحقيقي المتغيرة بسرعة.كحل، نقترح نموذج توليد إعادة صياغة متعددة اللغات يمكن استخدامه لإنشاء كلمات جديدة للميزة المستهدفة واللغة المستهدفة.يمكن استخدام الكلام ال
ذي تم إنشاؤه لزيادة بيانات التدريب الحالية لتحسين تصنيف نماذج وضع العلامات الفضائية.نحن نقيم جودة الكلام التي تم إنشاؤها باستخدام مقاييس التقييم الجوهرية وإجراء تجارب التقييم المصب مع اللغة الإنجليزية كلغة مصدر وتسع لغات مستهدفة مختلفة.تعرض طريقنا وعد عبر اللغات، حتى في إعداد طلقة صفرية حيث لا توجد بيانات بذرة متاحة.
اكتسبت النماذج الإدارية لأنظمة الحوار اهتماما كبيرا بسبب النجاح الأخير من RNN والنماذج القائمة على المحولات في مهام مثل الإجابة على الأسئلة والتلخيص. على الرغم من أن مهمة استجابة الحوار ينظر إليها عموما على أنها تسلسل للتسلسل (SEQ2SEQ) المشكلة، فقد و
جدت الباحثون في الماضي أنه يمثل تحديا لتدريب أنظمة الحوار باستخدام نماذج SEQ2SEQ القياسية. لذلك، لمساعدة النموذج على تعلم نطق حقيقي وميزات مستوى المحادثة، Sordoni et al. (2015B)، serban et al. (2016) بنية RNN الهرمية المقترحة، التي تم اعتمادها لاحقا من قبل العديد من أنظمة الحوار RNN الأخرى. مع النماذج القائمة على المحولات التي تسيطر على مشاكل SEQ2SeQ مؤخرا، فإن السؤال الطبيعي الذي يجب طرحه هو قابلية مفهوم التسلسل الهرمي في أنظمة الحوار المحول. في هذه الورقة، نقترح إطارا عمليا لترميز المحولات الهرمية وإظهار كيف يمكن تحويل محول قياسي إلى أي ترميز هرمي، بما في ذلك Hred و Hibert مثل النماذج، باستخدام أقنعة اهتمام مصممة خصيصا والترميزات الموضعية. نوضح أن الترميز الهرمي يساعد في تحقيق فهم لغوي أفضل في اللغة الطبيعية للسياق في النماذج القائمة على المحولات لأنظمة الحوار الموجهة نحو المهام من خلال مجموعة واسعة من التجارب.
غالبا ما تحتاج أنظمة الحوار الموجهة نحو المهام (TOD) في كثير من الأحيان إلى صياغة استعلامات قاعدة المعارف (KB) المقابلة من نية المستخدم واستخدام نتائج الاستعلام لتوليد ردود النظام. تتطلب الأساليب الموجودة مجموعات بيانات حوار لتعليق هذه الاستعلامات KB
بشكل صريح --- يمكن أن تكون التعليقات التوضيحية تستغرق وقتا طويلا ومكلفة. ردا على ذلك، نحدد المشكلات الجديدة للتنبؤ ب QB Query وتدريب وكيل الحوار، دون التعليق التوضيحي لاستعلام KB الصريح. بالنسبة للتنبؤ بالاستعلام، نقترح خط أساسي لتعليم التعلم (RL)، والذي يكافئ جيل هذه الاستفسارات التي تغطي نتائج KB التي تغطي الكيانات المذكورة في مربع حوار لاحق. يكشف التحليل الإضافي أن الارتباط بين سمات الاستعلام في KB يمكن أن يخلط بشكل كبير من تحسين سياسة الذاكرة المعزز (MAPO)، وهي حالة موجودة من وكيل الفن rl. لمعالجة هذا، نحسن خط الأساس Mapo مع تعديلات بسيطة ولكنها مهمة مناسبة لمهمتنا. لتدريب نظام TOD الكامل لإعدادنا، نقترح نهج خط أنابيب: إنه يتوقع بشكل مستقل عند إجراء استعلام KB (تنبئ موضع الاستعلام)، ثم يتوقع استعلام KB على الوظيفة المتوقعة (تنبئ الاستعلام)، ويستخدم نتائج استعلام متوقع في مربع حوار لاحق (تنبئ الاستجابة التالي). بشكل عام، يقترح عملنا الحلول الأولى لمشكلةنا الجديدة، وتحليلنا يسلط الضوء على التحديات البحثية في تدريب أنظمة TOM دون التعليق التوضيحي الاستعلام.
