دراسة مختصرة حول آثار نماذج الحوار الإندني للتدريب مع خسارة دلالية

نماذج العصبية المدربة لتوليد الكلام المقبل في مهمة الحوار تعلم تحاكي تسلسلات N-Gram في التدريب المحدد بأهداف التدريب مثل احتمال السجل السلبي (NLL) أو Cross-Enterpy. هذه الأهداف التدريبية الشائعة الاستخدام لا تعزز تحقيق ردود بديلة إلى سياق. ولكن، فإن آثار التقليل من هدف تدريب بديل يعزز نموذجا لتوليد استجابة بديلة وسجله على التشابه الدلالي لم يتم دراسة جيد. نحن نفترض أن نموذج توليد اللغة يمكن أن يتحسن على تنوعه من خلال التعلم لتوليد نص بديل أثناء التدريب وتقليل الخسارة الدلالية كهدف إضافي. نستكشف هذه الفكرة على مجموعتي بيانات مختلفة الحجم في مهمة توليد الكلام التالي في الحوارات الموجهة نحو الأهداف. نجعل ملاحظتين (1) تقلل من تنوع تحسن من الهدف الدلالي في الردود في مجموعة البيانات الأصغر (الإطارات) ولكن فقط جيدة مثل تقليل NLL في مجموعة البيانات الأكبر (MultiWoz) (2) أكثر فائدة كهدف فقدان الدلالي من كهيئة لمضادات الرمز المميز.

Neural models trained for next utterance generation in dialogue task learn to mimic the n-gram sequences in the training set with training objectives like negative log-likelihood (NLL) or cross-entropy. Such commonly used training objectives do not foster generating alternate responses to a context. But, the effects of minimizing an alternate training objective that fosters a model to generate alternate response and score it on semantic similarity has not been well studied. We hypothesize that a language generation model can improve on its diversity by learning to generate alternate text during training and minimizing a semantic loss as an auxiliary objective. We explore this idea on two different sized data sets on the task of next utterance generation in goal oriented dialogues. We make two observations (1) minimizing a semantic objective improved diversity in responses in the smaller data set (Frames) but only as-good-as minimizing the NLL in the larger data set (MultiWoZ) (2) large language model embeddings can be more useful as a semantic loss objective than as initialization for token embeddings.