تكبير استرجاع تقلل من الهلوسة في المحادثة

على الرغم من إظهار قدرات محادثة مثيرة تشبه الإنسان بشكل متزايد، غالبا ما تعاني نماذج الحوار الحديثة من التصحيح الواقعي وحلوي المعرفة (الأسطوانة وآخرون، 2020). في هذا العمل، نستكشف استخدام هياكل الاسترجاع العصبي - التي تظهر مؤخرا لتكون فعالة في الجودة المفتوحة QA (لويس وآخرون، 2020B؛ Izacard and Grav، 2020) - للحصول على الحوار المعرفي، مهمة يمكن القول أنها أكثر تحديا لأنها تتطلب الاستئصال بناء على سياق الحوار متعدد الدورات المعقدة وإنشاء ردود متماسكة للمحادثة. نحن ندرس أنواعا مختلفة من الهندسة مع مكونات متعددة - المستردون والراحة، وكشف ترميز التشفير - بهدف تعظيم قابلية الإصلاحية أثناء الاحتفاظ بقدرة المحادثة. نوضح أن أفضل النماذج لدينا تحصل على أداء حديثة في مهام المحادثة المدرجة في المعرفة. تعرض النماذج إمكانات محادثة في المجال المفتوح، وتعميم بفعالية من السيناريوهات غير ضمن بيانات التدريب، وعلى النحو الذي تم التحقق منه من خلال التقييمات البشرية، يقلل بشكل كبير من المشكلة المعروفة من الهلوسة المعرفة في Statbots الحديثة.

Despite showing increasingly human-like conversational abilities, state-of-the-art dialogue models often suffer from factual incorrectness and hallucination of knowledge (Roller et al., 2020). In this work we explore the use of neural-retrieval-in-the-loop architectures - recently shown to be effective in open-domain QA (Lewis et al., 2020b; Izacard and Grave, 2020) - for knowledge-grounded dialogue, a task that is arguably more challenging as it requires querying based on complex multi-turn dialogue context and generating conversationally coherent responses. We study various types of architectures with multiple components - retrievers, rankers, and encoder-decoders - with the goal of maximizing knowledgeability while retaining conversational ability. We demonstrate that our best models obtain state-of-the-art performance on two knowledge-grounded conversational tasks. The models exhibit open-domain conversational capabilities, generalize effectively to scenarios not within the training data, and, as verified by human evaluations, substantially reduce the well-known problem of knowledge hallucination in state-of-the-art chatbots.