من الصعب تقييم الردود الناتجة عن نماذج المحادثة العصبية (NCMS) لأنظمة غير موجهة نحو المهام.نقترح أزواج استجابة مركبة (CRPs) لتقييم الردود تلقائيا من NCMS غير المهام.أجرينا تحليل خطأ على الردود التي تم إنشاؤها بواسطة الشبكة العصبية النموذجية النموذجية
المتكررة للمفوضات (RNN) وإنشاء ثلاثة أنواع من CRPs المقابلة للأخطاء الثلاثة الأكثر شيوعا الموجودة في التحليل.تم تقييم ثلاثة NCMM من جودة الاستجابة المختلفة بموضوعية مع CRPS ومقارنة بتقييم شخصي.كانت صحة تم الحصول عليها بواسطة الأنواع الثلاثة من CRPs تتفق مع نتائج التقييم الذاتي.
محادثات طبيعية مليئة التدقيق.تحقق هذه الدراسة إذا وتفهم برت وكيفية التنقيس بثلاث تجارب: (1) دراسة سلوكية باستخدام مهمة نهرية، (2) تحليل ل Aregbeddings و (3) تحليل لآلية الاهتمام على التنقيس.توضح الدراسة السلوكية أنه بدون ضبط جيد على البيانات النظافة،
لا يعاني بيرت خسارة كبيرة من الأداء عند تقديمها مقارنة بالمدخلات بطلاقة (EXP1).يكشف التحليل على أزواج الجملة الجماعية والجوزاء بطلاقة أن الطبقة الأعمق، كلما زاد مماثلة تمثيلها (EXP2).يشير هذا إلى أن الطبقات العميقة من بيرت تصبح ثابتا نسبيا للتنقيس.نحن نحدد الاهتمام كآلية محتملة يمكن أن تفسر هذه الظاهرة (EXP3).بشكل عام، تشير الدراسة إلى أن بيرت لديه معرفة بنية التنظير.نؤكد على إمكانية استخدام بيرت لفهم الكلام الطبيعي دون إزالة التنظير.
