تعرض أنظمة الحوار القائمة على استرجاع أداء متميز عند استخدام نماذج اللغة المدربة مسبقا، والتي تشمل تمثيلات تشفير ثنائية الاتجاه من المحولات (بيرت). خلال اختيار الاستجابة المتعدد التحويل، يركز بيرت على تدريب العلاقة بين السياق مع العديد من الكلام والاستجابة. ومع ذلك، فإن هذه الطريقة للتدريب غير كافية عند النظر في العلاقات بين كل كلام في السياق. هذا يؤدي إلى مشكلة عدم فهم تدفق السياق تماما المطلوب لتحديد استجابة. لمعالجة هذه المشكلة، نقترح طريقة جديدة بعد التدريب على ما بعد التدريب الجدد تعكس خصائص الحوار متعدد الدورات. على وجه التحديد، يتعلم النموذج تفاعلات مستوى الكلام من خلال التدريب على كل زوج استجابة سياق قصير في جلسة حوار. علاوة على ذلك، باستخدام هدف تدريب جديد، تصنيف صلة النطق، النموذج يفهم الأهمية الدلالية والتماسك بين كلام الحوار. تظهر النتائج التجريبية أن نموذجنا يحقق أحدث حديثة من بين الهوامش الهامة على ثلاثة مجموعات من مجموعات البيانات القياسية. هذا يشير إلى أن طريقة ما بعد التدريب الجيد غير فعالة للغاية لمهمة اختيار الاستجابة.