جيل استجابة الحوار عن طريق التعلم التمثيل الكامن النقيض

حققت النماذج التراجعية التلقائية واسعة النطاق نجاحا كبيرا في توليد استجابة الحوار، بمساعدة طبقات المحولات. ومع ذلك، فإن هذه النماذج لا تتعلم مساحة كامنة تمثيلية لتوزيع الجملة، مما يجعل من الصعب التحكم في الجيل. لقد حاولت الأعمال الحديثة على تعلم تمثيلات الجملة باستخدام الإطار القائم على المحولات، ولكن لا تطلق على علاقة استجابة السياق المضمنة في مجموعات بيانات الحوار. في هذا العمل، نهدف إلى إنشاء نموذج لتعليم التمثيل القوي التمثيل، وهو مصمم خصيصا لتوليد استجابة الحوار، مع هيكل ترميز الترميز المستندة إلى المحولات. يقترح التعلم المتعرج عن مستوى الكلام، وترميز المعلومات التنبؤية في كل تمثيل سياق لاستجابة لها المقابلة. يتم إجراء تجارب واسعة للتحقق من تقلب آلية تعليم التمثيل المقترح. باستخدام كلا من مقاييس التقييم المستندة إلى المرجعية والمرجعية، نقدم تحليلا مفصلا على الجمل التي تم إنشاؤها، مما يدل على فعالية نموذجنا المقترح.

Large-scale auto-regressive models have achieved great success in dialogue response generation, with the help of Transformer layers. However, these models do not learn a representative latent space of the sentence distribution, making it hard to control the generation. Recent works have tried on learning sentence representations using Transformer-based framework, but do not model the context-response relationship embedded in the dialogue datasets. In this work, we aim to construct a robust sentence representation learning model, that is specifically designed for dialogue response generation, with Transformer-based encoder-decoder structure. An utterance-level contrastive learning is proposed, encoding predictive information in each context representation for its corresponding response. Extensive experiments are conducted to verify the robustness of the proposed representation learning mechanism. By using both reference-based and reference-free evaluation metrics, we provide detailed analysis on the generated sentences, demonstrating the effectiveness of our proposed model.