معيار خدمات الكشف عن النية التجارية مع تقييمات مدفوعة بالممارسة

يعد الكشف عن النية مكونا رئيسيا في أنظمة الحوار الحديثة الموجهة نحو الأهداف التي تنجز مهمة مستخدم من خلال التنبؤ بمثابة إيداع نص المستخدمين. هناك ثلاثة تحديات أساسية في تصميم نماذج الكشف عن النية قوية ودقيقة. أولا، تتطلب نماذج الكشف عن النية النموذجية كمية كبيرة من البيانات المسمى لتحقيق دقة عالية. لسوء الحظ، في السيناريوهات العملية هو أكثر شيوعا للعثور على مجموعات بيانات صغيرة وغير متوازنة وصاخبة. ثانيا، حتى مع بيانات تدريب كبيرة، يمكن أن ترى نماذج الكشف عن النية توزيعا مختلفا لبيانات الاختبار عند نشرها في العالم الحقيقي، مما يؤدي إلى دقة سيئة. أخيرا، يجب أن يكون نموذج اكتشاف نوايا عمليا فعاليا في كل من التدريب واستنتاج الاستعلام الفردي بحيث يمكن استخدامه بشكل مستمر وإعادة تدريبه بشكل متكرر. نحن نؤيد أساليب الكشف عن النية في مجموعة متنوعة من مجموعات البيانات. تظهر نتائجنا أن نموذج الكشف عن نية مساعد Watson يفوق الحلول التجارية الأخرى ومقارنة مع نماذج اللغة المحددة مسبقا كبيرة مع حدوث جزء صغير فقط من الموارد الحسابية وبيانات التدريب. يدل مساعد واتسون درجة أعلى من المتانة عند تختلف توزيعات التدريب والاختبار.

Intent detection is a key component of modern goal-oriented dialog systems that accomplish a user task by predicting the intent of users' text input. There are three primary challenges in designing robust and accurate intent detection models. First, typical intent detection models require a large amount of labeled data to achieve high accuracy. Unfortunately, in practical scenarios it is more common to find small, unbalanced, and noisy datasets. Secondly, even with large training data, the intent detection models can see a different distribution of test data when being deployed in the real world, leading to poor accuracy. Finally, a practical intent detection model must be computationally efficient in both training and single query inference so that it can be used continuously and re-trained frequently. We benchmark intent detection methods on a variety of datasets. Our results show that Watson Assistant's intent detection model outperforms other commercial solutions and is comparable to large pretrained language models while requiring only a fraction of computational resources and training data. Watson Assistant demonstrates a higher degree of robustness when the training and test distributions differ.