كيف "فتح" هي المحادثات التي تحتوي على chatbots المجال المفتوح؟اقتراح للتقييم القائم على أحداث الكلام

من المفترض أن يتحدث Chatbots المجال المفتوح بحرية مع البشر دون أن يقتصر على موضوع أو مهمة أو مجال. ومع ذلك، فإن حدود و / أو محتويات المحادثات المفتوحة ليست واضحة. لتوضيح حدود الانفتاح "، نقوم بإجراء دراستين: أولا، نقوم بتصنيف أنواع أحداث الكلام" واجهتها في مجموعة بيانات تقييم ChatBot (أي مينا من Google) وتجد أن هذه المحادثات تغطي بشكل أساسي الكلام الصغير بشكل أساسي "الفئة واستبعاد وفئات أحداث الكلام الأخرى التي تواجهها في الحياة البشرية الحقيقية البشرية. ثانيا، نقوم بإجراء دراسة تجريبية صغيرة على نطاق واسع لتوليد محادثات عبر الإنترنت تغطي مجموعة واسعة من فئات أحداث الكلام بين إطارين مقابل رجل بشري وحديث من شاتبوت (I.E.، خلاط على Facebook). يشير التقييم البشري لهذه المحادثات الناتجة إلى تفضيل للمحادثات البشرية، لأن محادثات الإنسان التي تشاتبوت تفتقر إلى التماسك في معظم فئات أحداث الكلام. بناء على هذه النتائج، نقترح (أ) استخدام مصطلح الحديث الصغير "بدلا من المجال المفتوح" للاتحاد الحالي الذي لا يفتح "من حيث قدرات المحادثة بعد، و (ب) مراجعة أساليب التقييم لاختبار محادثات Chatbot ضد أحداث الكلام الأخرى.

Open-domain chatbots are supposed to converse freely with humans without being restricted to a topic, task or domain. However, the boundaries and/or contents of open-domain conversations are not clear. To clarify the boundaries of openness'', we conduct two studies: First, we classify the types of speech events'' encountered in a chatbot evaluation data set (i.e., Meena by Google) and find that these conversations mainly cover the small talk'' category and exclude the other speech event categories encountered in real life human-human communication. Second, we conduct a small-scale pilot study to generate online conversations covering a wider range of speech event categories between two humans vs. a human and a state-of-the-art chatbot (i.e., Blender by Facebook). A human evaluation of these generated conversations indicates a preference for human-human conversations, since the human-chatbot conversations lack coherence in most speech event categories. Based on these results, we suggest (a) using the term small talk'' instead of open-domain'' for the current chatbots which are not that open'' in terms of conversational abilities yet, and (b) revising the evaluation methods to test the chatbot conversations against other speech events.