بخير ما بعد التدريب على التدريب لتحسين أنظمة الحوار القائمة على الاسترجاع

تعرض أنظمة الحوار القائمة على استرجاع أداء متميز عند استخدام نماذج اللغة المدربة مسبقا، والتي تشمل تمثيلات تشفير ثنائية الاتجاه من المحولات (بيرت). خلال اختيار الاستجابة المتعدد التحويل، يركز بيرت على تدريب العلاقة بين السياق مع العديد من الكلام والاستجابة. ومع ذلك، فإن هذه الطريقة للتدريب غير كافية عند النظر في العلاقات بين كل كلام في السياق. هذا يؤدي إلى مشكلة عدم فهم تدفق السياق تماما المطلوب لتحديد استجابة. لمعالجة هذه المشكلة، نقترح طريقة جديدة بعد التدريب على ما بعد التدريب الجدد تعكس خصائص الحوار متعدد الدورات. على وجه التحديد، يتعلم النموذج تفاعلات مستوى الكلام من خلال التدريب على كل زوج استجابة سياق قصير في جلسة حوار. علاوة على ذلك، باستخدام هدف تدريب جديد، تصنيف صلة النطق، النموذج يفهم الأهمية الدلالية والتماسك بين كلام الحوار. تظهر النتائج التجريبية أن نموذجنا يحقق أحدث حديثة من بين الهوامش الهامة على ثلاثة مجموعات من مجموعات البيانات القياسية. هذا يشير إلى أن طريقة ما بعد التدريب الجيد غير فعالة للغاية لمهمة اختيار الاستجابة.

Retrieval-based dialogue systems display an outstanding performance when pre-trained language models are used, which includes bidirectional encoder representations from transformers (BERT). During the multi-turn response selection, BERT focuses on training the relationship between the context with multiple utterances and the response. However, this method of training is insufficient when considering the relations between each utterance in the context. This leads to a problem of not completely understanding the context flow that is required to select a response. To address this issue, we propose a new fine-grained post-training method that reflects the characteristics of the multi-turn dialogue. Specifically, the model learns the utterance level interactions by training every short context-response pair in a dialogue session. Furthermore, by using a new training objective, the utterance relevance classification, the model understands the semantic relevance and coherence between the dialogue utterances. Experimental results show that our model achieves new state-of-the-art with significant margins on three benchmark datasets. This suggests that the fine-grained post-training method is highly effective for the response selection task.