رضا المستخدمين على مستوى الدوران هو أحد أهم مقاييس الأداء لعوامل المحادثة. يمكن استخدامه لمراقبة أداء الوكيل وتوفير رؤى حول تجارب المستخدم المعيبة. في حين أن التعلم العميق المنتهي في النهاية قد أظهر نتائج واعدة، فإن الوصول إلى عدد كبير من العينات المشروح الموثوقة التي تتطلبها هذه الطرق تظل تحديا. في نظام محادثة واسعة النطاق، يوجد عدد متزايد من المهارات المتقدمة حديثا، مما يجعل عملية جمع البيانات التقليدية والشروحية وعملية النمذجة غير عملي بسبب تكاليف التوضيحية المطلوبة وأوقات التحول. في هذه الورقة، نقترح اقتراح نهج تعليمي بسيط للإشراف على أن يهدف إلى مجموعة من البيانات غير المسبقة لتعلم تفاعلات وكيل المستخدم. نظهر أن النماذج المدربة مسبقا باستخدام الهدف الأكثر إشرا للإشراف قابلة للتحويل إلى تنبؤ رضا المستخدمين. بالإضافة إلى ذلك، نقترح نقه نهج لتعلم تحويل القليل من الرواية يضمن نقل أفضل لأحجام عينة صغيرة جدا. لا تتطلب الطريقة القليلة المقترحة أي عملية تحسين الحلقة الداخلية وهي قابلة للتحجيم إلى مجموعات البيانات الكبيرة جدا والنماذج المعقدة. بناء على تجاربنا باستخدام بيانات حقيقية من نظام تجاري واسع النطاق، فإن النهج المقترح قادر على تقليل العدد المطلوب بشكل كبير، مع تحسين التعميم بشأن المهارات غير المرئية.
Turn-level user satisfaction is one of the most important performance metrics for conversational agents. It can be used to monitor the agent's performance and provide insights about defective user experiences. While end-to-end deep learning has shown promising results, having access to a large number of reliable annotated samples required by these methods remains challenging. In a large-scale conversational system, there is a growing number of newly developed skills, making the traditional data collection, annotation, and modeling process impractical due to the required annotation costs and the turnaround times. In this paper, we suggest a self-supervised contrastive learning approach that leverages the pool of unlabeled data to learn user-agent interactions. We show that the pre-trained models using the self-supervised objective are transferable to the user satisfaction prediction. In addition, we propose a novel few-shot transfer learning approach that ensures better transferability for very small sample sizes. The suggested few-shot method does not require any inner loop optimization process and is scalable to very large datasets and complex models. Based on our experiments using real data from a large-scale commercial system, the suggested approach is able to significantly reduce the required number of annotations, while improving the generalization on unseen skills.
References used
https://aclanthology.org/
Unlike well-structured text, such as news reports and encyclopedia articles, dialogue content often comes from two or more interlocutors, exchanging information with each other. In such a scenario, the topic of a conversation can vary upon progressio
We study generating abstractive summaries that are faithful and factually consistent with the given articles. A novel contrastive learning formulation is presented, which leverages both reference summaries, as positive training data, and automaticall
In recent years, world business in online discussions and opinion sharing on social media is booming. Re-entry prediction task is thus proposed to help people keep track of the discussions which they wish to continue. Nevertheless, existing works onl
Multi-party dialogue machine reading comprehension (MRC) brings tremendous challenge since it involves multiple speakers at one dialogue, resulting in intricate speaker information flows and noisy dialogue contexts. To alleviate such difficulties, pr
Conversational agents trained on large unlabeled corpora of human interactions will learn patterns and mimic behaviors therein, which include offensive or otherwise toxic behavior. We introduce a new human-and-model-in-the-loop framework for evaluati