Uncertainty Measures in Neural Belief Tracking and the Effects on Dialogue Policy Performance

القدرة على تحديد وحل عدم اليقين أمر بالغ الأهمية لأغاني نظام الحوار. في الواقع، تم تأكيد ذلك بشكل تجريبي على الأنظمة التي تستخدم مناهج Bayesian لحوار تتبع الاعتقاد. ومع ذلك، فإن هذه الأنظمة تعتبر تقديرات الثقة فقط وتواجه صعوبة في التحجيم إلى إعدادات أكثر تعقيدا. نادرا ما تؤدي أنظمة الحوار العصبي، من ناحية أخرى إلى عدم اليقين في الاعتبار. لذلك فهي تفرد في قراراتهم وأقل قوة. علاوة على ذلك، غالبا ما يتم تقييم أداء مهمة التتبع بمعزل، دون النظر في تأثيره على تحسين السياسة المصب. نقترح استخدام تدابير عدم اليقين المختلفة لتتبع الاعتقاد العصبي. يتم تقييم آثار هذه التدابير على المهمة المهمة المصب للمهمة من تحسين السياسة بإضافة تدابير مختارة من عدم اليقين إلى مساحة ميزة سياسات السياسات والتدريب من خلال التفاعل مع جهاز محاكاة المستخدم. يظهر كل من نتائج المستخدمين البشري والمحاكاة أن إدماج هذه التدابير يؤدي إلى تحسين كل من الأداء وبقوة سياسة الحوار المصب. هذا يسلط الضوء على أهمية تطوير تعقب اعتقاد الحوار العصبي التي تأخذ عدم اليقين في الاعتبار.

The ability to identify and resolve uncertainty is crucial for the robustness of a dialogue system. Indeed, this has been confirmed empirically on systems that utilise Bayesian approaches to dialogue belief tracking. However, such systems consider only confidence estimates and have difficulty scaling to more complex settings. Neural dialogue systems, on the other hand, rarely take uncertainties into account. They are therefore overconfident in their decisions and less robust. Moreover, the performance of the tracking task is often evaluated in isolation, without consideration of its effect on the downstream policy optimisation. We propose the use of different uncertainty measures in neural belief tracking. The effects of these measures on the downstream task of policy optimisation are evaluated by adding selected measures of uncertainty to the feature space of the policy and training policies through interaction with a user simulator. Both human and simulated user results show that incorporating these measures leads to improvements both of the performance and of the robustness of the downstream dialogue policy. This highlights the importance of developing neural dialogue belief trackers that take uncertainty into account.