حوارات تركز على المنطقية لتوليد الاستجابة: دراسة تجريبية

يتطلب التواصل السلس والفعال القدرة على أداء استنتاج المناشد الكامن أو الصريح. يركز معايير التفكير في المناولة (مثل Socialiqa و Commonsenseqa) بشكل رئيسي على المهمة التمييزية المتمثلة في اختيار الإجابة الصحيحة من مجموعة من المرشحين، ولا تنطوي على توليد لغة تفاعلية كما هو الحال في الحوار. علاوة على ذلك، فإن مجموعات بيانات الحوار الحالية لا تركز صراحة على عرض المنطقي كجايت. في هذه الورقة، نقدم دراسة تجريبية للعموم في توليد استجابة الحوار. نحن أولا استخراج السيارات الحوارات العمومية من مجموعات بيانات الحوار الموجودة من خلال الاستفادة من Congalnet، الرسم البياني المعرفة للعموم. علاوة على ذلك، بناء على السياقات الاجتماعية / المواقف في Socialiqa، نجمع مجموعة بيانات حوار جديدة مع حوارات 25 كيلو بايت تهدف إلى عرض العمولة الاجتماعية في بيئة تفاعلية. نقوم بتقييم نماذج توليد الاستجابة المدربة باستخدام مجموعات البيانات هذه والعثور على النماذج المدربة على كلا من المستخرجة وبياناتنا التي تم جمعها تنتج الردود التي تظهر باستمرار المزيد من المنطقي من الأساس. أخيرا، نقترح نهج للتقييم التلقائي للعموم التي تعتمد على ميزات مشتقة من نماذج النقدية واللغة المدربة مسبقا وحوار الحوار، وتظهر ارتباطا معقولا بالتقييم البشري لجودة الردود.

Smooth and effective communication requires the ability to perform latent or explicit commonsense inference. Prior commonsense reasoning benchmarks (such as SocialIQA and CommonsenseQA) mainly focus on the discriminative task of choosing the right answer from a set of candidates, and do not involve interactive language generation as in dialogue. Moreover, existing dialogue datasets do not explicitly focus on exhibiting commonsense as a facet. In this paper, we present an empirical study of commonsense in dialogue response generation. We first auto-extract commonsensical dialogues from existing dialogue datasets by leveraging ConceptNet, a commonsense knowledge graph. Furthermore, building on social contexts/situations in SocialIQA, we collect a new dialogue dataset with 25K dialogues aimed at exhibiting social commonsense in an interactive setting. We evaluate response generation models trained using these datasets and find that models trained on both extracted and our collected data produce responses that consistently exhibit more commonsense than baselines. Finally we propose an approach for automatic evaluation of commonsense that relies on features derived from ConceptNet and pre-trained language and dialog models, and show reasonable correlation with human evaluation of responses' commonsense quality.