على الرغم من أن نماذج التدريب المسبق قد حققت نجاحا كبيرا في توليد الحوار، إلا أن أدائها ينخفض بشكل كبير عندما يحتوي المدخلات على كيان لا يظهر في مجموعات بيانات ما قبل التدريب والضبط (كيان غير مرئي). لمعالجة هذه المشكلة، تستفيد الأساليب الحالية لقاع
دة المعرفة الخارجية لتوليد الاستجابات المناسبة. في العالم الحقيقي العملي، قد لا يتم تضمين الكيان من قبل قاعدة المعارف أو تعاني من دقة استرجاع المعرفة. للتعامل مع هذه المشكلة، بدلا من إدخال قاعدة المعرفة كإدخال، نقوم بإجبار النموذج على تعلم التمثيل الدلالي الأفضل من خلال التنبؤ بالمعلومات في قاعدة المعرفة، فقط بناء على سياق الإدخال. على وجه التحديد، بمساعدة قاعدة المعرفة، نقدم هدفين تدريبين مساعدين: 1) تفسير الكلمة الملثمين، والتي تخنق معنى الكيان الملثمين بالنظر إلى السياق؛ 2) توليد Hypernym، الذي يتنبأ فرق الكيان بناء على السياق. نتائج التجربة على اثنين من الحوار كوربوس تحقق من فعالية أساليبنا تحت كلا المعرفة والإعدادات المتاحة وغير متوفرة.
