على الرغم من الأداء الرائع للنماذج التوليدية واسعة النطاق في محادثة مفتوحة، من المعروف أنها أقل عملية لبناء أنظمة محادثة في الوقت الفعلي بسبب ارتفاع الكمون. من ناحية أخرى، يمكن أن تعيد نماذج استرجاع الردود بأشياء أقل بكثير ولكنها تظهر أداء أدنى للنماذج الإدارية على نطاق واسع لأن جودة المحادثة تحدها مجموعة استجابة محددة مسبقا. للاستفادة من كلتا النهجين، نقترح طريقة تدريب جديدة تسمى G2R (التقطير الاسترجلي من الاسترجاع) التي تحافظ على كفاءة نموذج استرجاع مع الاستفادة من القدرة على التحدث نموذجا إيديا واسع النطاق عن طريق غرس المعرفة بالتوليد نموذج في نموذج الاسترجاع. تتكون G2R من تقنيتين متميزتين من التقطير: يعزز G2R على مستوى البيانات مجموعة بيانات الحوار مع ردود إضافية النموذج المولد النطاق، وينقل G2R على مستوى النموذج درجة جودة الاستجابة التي تم تقييمها بواسطة نموذج التوليد إلى درجة نموذج الاسترجاع عن طريق فقدان المعرفة في التقطير. من خلال تجارب واسعة بما في ذلك التقييم البشري، نوضح أن نظام المحادثة المستندة إلى استرجاعنا المدربين مع G2R يدل على أداء محسن بشكل كبير مقارنة بنموذج استرجاع الأساس أثناء إظهار زمن الاستدلال الأساسي بشكل كبير من النماذج الإدارية على نطاق واسع.