من المفترض أن يتحدث Chatbots المجال المفتوح بحرية مع البشر دون أن يقتصر على موضوع أو مهمة أو مجال. ومع ذلك، فإن حدود و / أو محتويات المحادثات المفتوحة ليست واضحة. لتوضيح حدود الانفتاح "، نقوم بإجراء دراستين: أولا، نقوم بتصنيف أنواع أحداث الكلام" واجه
تها في مجموعة بيانات تقييم ChatBot (أي مينا من Google) وتجد أن هذه المحادثات تغطي بشكل أساسي الكلام الصغير بشكل أساسي "الفئة واستبعاد وفئات أحداث الكلام الأخرى التي تواجهها في الحياة البشرية الحقيقية البشرية. ثانيا، نقوم بإجراء دراسة تجريبية صغيرة على نطاق واسع لتوليد محادثات عبر الإنترنت تغطي مجموعة واسعة من فئات أحداث الكلام بين إطارين مقابل رجل بشري وحديث من شاتبوت (I.E.، خلاط على Facebook). يشير التقييم البشري لهذه المحادثات الناتجة إلى تفضيل للمحادثات البشرية، لأن محادثات الإنسان التي تشاتبوت تفتقر إلى التماسك في معظم فئات أحداث الكلام. بناء على هذه النتائج، نقترح (أ) استخدام مصطلح الحديث الصغير "بدلا من المجال المفتوح" للاتحاد الحالي الذي لا يفتح "من حيث قدرات المحادثة بعد، و (ب) مراجعة أساليب التقييم لاختبار محادثات Chatbot ضد أحداث الكلام الأخرى.
