Augmenting Knowledge-grounded Conversations with Sequential Knowledge Transition

تعد بيانات المعرفة هائلة وواسعة الانتشار في العالم الحقيقي، والتي يمكن أن تكون بمثابة مصادر خارجية جيدة لإثراء المحادثات. ومع ذلك، في محادثات المعرفة، لا تزال النماذج الحالية تفتقر إلى السيطرة الجميلة على اختيار المعرفة والتكامل مع الحوارات، والتي تؤدي أخيرا إلى مشاكل توليد الاستجابة غير ذات الصلة المعرفة: 1) اختيار المعرفة يعتمد فقط على سياق الحوار، وتجاهل انتقالات المعرفة المتأصلة جنبا إلى جنب مع تدفقات المحادثة؛ 2) غالبا ما تناسب النماذج أثناء التدريب، مما يؤدي إلى استجابة غير متماسكة من خلال الإشارة إلى الرموز غير المرتبطة من محتوى المعرفة المحددة في مرحلة الاختبار؛ 3) على الرغم من أن الاستجابة يتم إنشاؤها على تاريخ الحوار والمعرفة، إلا أن النماذج غالبا ما تميل إلى التغاضي عن المعرفة المحددة، وبالتالي يولد استجابة المعرفة غير ذات الصلة. لمعالجة هذه المشكلات، اقترحنا نموذجي صراحة انتقال المعرفة في محادثات متعددة الدورانية المتسلسلة عن طريق تجريد المعرفة إلى علامات موضوعية. بالإضافة إلى ذلك، لاستخدام المعرفة المختارة بالكامل في عملية التوليد، نقترح ما قبل التدريب مولد الاستجابة على علم المعرفة لدفع المزيد من الاهتمام على المعرفة المحددة. على وجه الخصوص، يقوم نموذج انتقال المعرفة المتسلسل المزود بمولد استجابة مدروس مدرسي مسبقا (SKT-KG) بتصوير انتقال المعرفة الرفيع المستوى ويستخدم بالكامل بيانات المعرفة المحدودة. تشير النتائج التجريبية على كل من معايير الحوار المنظم وغير المنظمة إلى المعرفة المعرفة إلى أن نموذجنا يحقق أداء أفضل على النماذج الأساسية.

Knowledge data are massive and widespread in the real-world, which can serve as good external sources to enrich conversations. However, in knowledge-grounded conversations, current models still lack the fine-grained control over knowledge selection and integration with dialogues, which finally leads to the knowledge-irrelevant response generation problems: 1) knowledge selection merely relies on the dialogue context, ignoring the inherent knowledge transitions along with conversation flows; 2) the models often over-fit during training, resulting with incoherent response by referring to unrelated tokens from specific knowledge content in the testing phase; 3) although response is generated upon the dialogue history and knowledge, the models often tend to overlook the selected knowledge, and hence generates knowledge-irrelevant response. To address these problems, we proposed to explicitly model the knowledge transition in sequential multi-turn conversations by abstracting knowledge into topic tags. Besides, to fully utilizing the selected knowledge in generative process, we propose pre-training a knowledge-aware response generator to pay more attention on the selected knowledge. In particular, a sequential knowledge transition model equipped with a pre-trained knowledge-aware response generator (SKT-KG) formulates the high-level knowledge transition and fully utilizes the limited knowledge data. Experimental results on both structured and unstructured knowledge-grounded dialogue benchmarks indicate that our model achieves better performance over baseline models.