تقييم جودة الردود الناتجة عن أنظمة محادثة المجال المفتوحة هي مهمة صعبة. هذا جزئيا لأنه يمكن أن يكون هناك العديد من الردود المناسبة لتاريخ حوار معين. غالبا ما تفشل المقاييس المرجعية التي تعتمد على مقارنات إلى مجموعة من الاستجابات الصحيحة المعروفة في حساب هذا التنوع، وبالتالي ربط سيئة مع الحكم البشري. لمعالجة هذه المشكلة، قام الباحثون بالتحقيق في إمكانية تقييم جودة الاستجابة دون استخدام مجموعة من الردود الصحيحة المعروفة. أظهر روبر أنه يمكن إجراء نموذج تقييم الاستجابة التلقائي باستخدام التعلم غير المزعوم لمهمة التنبؤ بالكلام التالي (NUP). بالنسبة للتعلم غير المقترح لهذا النموذج، نقترح طريقة التلاعب بالاستجابة الذهبية لإنشاء استجابة سلبية جديدة تم تصميمها لتكون غير مناسب في السياق مع الحفاظ على التشابه العالي مع الاستجابة الذهبية الأصلية. نجد، من تجاربنا في مجموعات البيانات الإنجليزية، التي تستخدم العينات السلبية التي تم إنشاؤها بواسطة طريقتنا إلى جانب العينات السلبية العشوائية يمكن أن تزيد من ارتباط النموذج بالتقييمات البشرية. عملية توليد هذه العينات السلبية مؤتمتة ولا تعتمد على شرح الإنسان.
Evaluating the quality of responses generated by open-domain conversation systems is a challenging task. This is partly because there can be multiple appropriate responses to a given dialogue history. Reference-based metrics that rely on comparisons to a set of known correct responses often fail to account for this variety, and consequently correlate poorly with human judgment. To address this problem, researchers have investigated the possibility of assessing response quality without using a set of known correct responses. RUBER demonstrated that an automatic response evaluation model could be made using unsupervised learning for the next-utterance prediction (NUP) task. For the unsupervised learning of such model, we propose a method of manipulating a golden response to create a new negative response that is designed to be inappropriate within the context while maintaining high similarity with the original golden response. We find, from our experiments on English datasets, that using the negative samples generated by our method alongside random negative samples can increase the model's correlation with human evaluations. The process of generating such negative samples is automated and does not rely on human annotation.
References used
https://aclanthology.org/
Humans make appropriate responses not only based on previous dialogue utterances but also on implicit background knowledge such as common sense. Although neural response generation models seem to produce human-like responses, they are mostly end-to-e
Empathy is a complex cognitive ability based on the reasoning of others' affective states. In order to better understand others and express stronger empathy in dialogues, we argue that two issues must be tackled at the same time: (i) identifying whic
Selectional Preference (SP) captures the tendency of a word to semantically select other words to be in direct syntactic relation with it, and thus informs us about syntactic word configurations that are meaningful. Therefore SP is a valuable resourc
Multi-turn response selection models have recently shown comparable performance to humans in several benchmark datasets. However, in the real environment, these models often have weaknesses, such as making incorrect predictions based heavily on super
Motivated by suggested question generation in conversational news recommendation systems, we propose a model for generating question-answer pairs (QA pairs) with self-contained, summary-centric questions and length-constrained, article-summarizing an