ردود الفعل إسناد لتعلم الضوابط عددا مضادة في فهم اللغة المنطوقة متعددة المجالات

مع التعلم Landit العديد المصنعة، يمكن تدريب النماذج بناء على ردود فعل إيجابية وسالبة وردت للتنبؤات التاريخية، دون الحاجة إلى البيانات المسمى.ومع ذلك، غالبا ما تكون هذه الملاحظات متوفرة في أنظمة الحوار في العالم الحقيقي، ومع ذلك، فإن الهندسة المعمارية المعيارية المستخدمة عادة في أنظمة واسعة النطاق يمنع التطبيق المباشر لهذه الخوارزميات.في هذه الورقة، ندرس مشكلة إريقات التغذية المرتدة التي تنشأ عند استخدام التعلم Landit Adderfactual لفهم اللغة المنطوقة متعددة المجالات.نقدم إعداد تجريبي لمحاكاة المشكلة في مجموعات البيانات العامة على نطاق صغير، اقترح طرق الإسناد المستوحاة من التعزيز التعزيز متعدد الوكلات وتقييمها ضد خطوط خطوط خطوط خطوط خطوط خطوط طويلة.نجد أنه أثناء استخدام الملاحظات الشاملة مباشرة يؤدي إلى أداء كارثي، يمكن أن تسمح طرقنا الإسناد المقترحة لدينا نماذج تنافسية للتدريب من ملاحظات المستخدم.

With counterfactual bandit learning, models can be trained based on positive and negative feedback received for historical predictions, with no labeled data needed. Such feedback is often available in real-world dialog systems, however, the modularized architecture commonly used in large-scale systems prevents the direct application of such algorithms. In this paper, we study the feedback attribution problem that arises when using counterfactual bandit learning for multi-domain spoken language understanding. We introduce an experimental setup to simulate the problem on small-scale public datasets, propose attribution methods inspired by multi-agent reinforcement learning and evaluate them against multiple baselines. We find that while directly using overall feedback leads to disastrous performance, our proposed attribution methods can allow training competitive models from user feedback.