نماذج العصبية المدربة لتوليد الكلام المقبل في مهمة الحوار تعلم تحاكي تسلسلات N-Gram في التدريب المحدد بأهداف التدريب مثل احتمال السجل السلبي (NLL) أو Cross-Enterpy. هذه الأهداف التدريبية الشائعة الاستخدام لا تعزز تحقيق ردود بديلة إلى سياق. ولكن، فإن
آثار التقليل من هدف تدريب بديل يعزز نموذجا لتوليد استجابة بديلة وسجله على التشابه الدلالي لم يتم دراسة جيد. نحن نفترض أن نموذج توليد اللغة يمكن أن يتحسن على تنوعه من خلال التعلم لتوليد نص بديل أثناء التدريب وتقليل الخسارة الدلالية كهدف إضافي. نستكشف هذه الفكرة على مجموعتي بيانات مختلفة الحجم في مهمة توليد الكلام التالي في الحوارات الموجهة نحو الأهداف. نجعل ملاحظتين (1) تقلل من تنوع تحسن من الهدف الدلالي في الردود في مجموعة البيانات الأصغر (الإطارات) ولكن فقط جيدة مثل تقليل NLL في مجموعة البيانات الأكبر (MultiWoz) (2) أكثر فائدة كهدف فقدان الدلالي من كهيئة لمضادات الرمز المميز.
يتوقع التنبؤ بالكلام التالي في الحوار على ترميز نص مدخلات المستخدمين لتوليد استجابة مناسبة وذات صلة في النهج التي يحركها البيانات. على الرغم من أن الجودة الدلالية والمنظمات الأساسية للغة الناتجة يتم تقييمها، إلا أنه غالبا ما لا، لا يتم تقييم التمثيل
المشفوع للإدخال. نظرا لأن تمثيل التشفير ضروري للتنبؤ بالاستجابة المناسبة، فإن تقييم تمثيل التشفير يمثل مشكلة تحديا ولكنها مهمة. في هذا العمل، نعرض أن تقييم النص الذي تم إنشاؤه من خلال المقاييس البشرية أو التلقائية لا يكفي لتقييم سلامة فهم لغة نماذج الحوار، وإلى هذه الغاية، اقتراح مجموعة من مهام التحقيق لتقييم تمثيل التشفير لتشفيات لغة مختلفة شائعة المستخدمة في طرازات الحوار. من التجارب، نلاحظ أن بعض مهام التحقيق هي أسهل وبعضها أصعب حتى يتم تعلم هياكل النموذج المعقدة. ومن خلال التجارب التي نلاحظها أن البندسة المعتمدة من RNN لها أداء أقل على المقاييس التلقائية على جيل النص من طراز المحول ولكن أداء أفضل من طراز المحول في مهام التحقيق التي تشير إلى أن RNNs قد تحافظ على معلومات المهمة أفضل من المحولات.
