جسر التكيف بين التدريب والاستدلال لتوليد الحوار

على الرغم من أن تحيز التعرض قد درس على نطاق واسع في بعض مهام NLP، إلا أنه يواجه تحدياته الفريدة في توليد استجابة الحوار، وسيناريو الجيل الممثل الأول إلى مختلف. في الحوار الإنساني الحقيقي، هناك العديد من الردود المناسبة لنفس السياق، ليس فقط مع تعبيرات مختلفة، ولكن أيضا مع مواضيع مختلفة. لذلك، بسبب الفجوة الأكبر بكثير بين العديد من ردود الحقيقة الأرضية والاستجابة الاصطناعية التي تم إنشاؤها، فإن تحيز التعرض أكثر تحديا في مهمة توليد الحوار. ما هو أكثر من ذلك، حيث يشجع MLE النموذج على تعلم الكلمات الشائعة فقط بين ردود الحقيقة المختلفة ، ولكن يتجاهل الأجزاء المثيرة والمحددة، قد يؤدي التحيز التعريض إلى أن يؤدي المزيد إلى مشكلة توليد الاستجابة المشتركة، مثل لا أعرف "وهاها؟" في هذه الورقة، نقترح آلية تحول التكيف الرواية، والتي تتعلم العبور تلقائيا بين التعلم الأساسي للحقيقة وتولد التعلم فيما يتعلق بدرجة مطابقة على مستوى الكلمة، مثل تشابه جيب التمام. تظهر النتائج التجريبية على كل من مجموعة بيانات STC الصينية ومجموعة بيانات Reddit الإنجليزية، أن طريقتنا التكيفية تحقق تحسنا كبيرا من حيث التقييم القائم على المتري والتقييم البشري، مقارنة بنهج تحيز التعرض للدولة القصيرة. يظهر تحليل إضافي حول مهمة NMT أيضا أن طرازنا يمكن أن يحقق تحسنا كبيرا.

Although exposure bias has been widely studied in some NLP tasks, it faces its unique challenges in dialogue response generation, the representative one-to-various generation scenario.In real human dialogue, there are many appropriate responses for the same context, not only with different expressions, but also with different topics. Therefore, due to the much bigger gap between various ground-truth responses and the generated synthetic response, exposure bias is more challenging in dialogue generation task.What's more, as MLE encourages the model to only learn the common words among different ground-truth responses, but ignores the interesting and specific parts, exposure bias may further lead to the common response generation problem, such as I don't know'' and HaHa?'' In this paper, we propose a novel adaptive switching mechanism, which learns to automatically transit between ground-truth learning and generated learning regarding the word-level matching score, such as the cosine similarity. Experimental results on both Chinese STC dataset and English Reddit dataset, show that our adaptive method achieves a significant improvement in terms of metric-based evaluation and human evaluation, as compared with the state-of-the-art exposure bias approaches. Further analysis on NMT task also shows that our model can achieve a significant improvement.