ليس بسرعة كبيرة، والتصنيف - الدقة والحد من الانتروبيا في تصنيف نية تدريجية

يتطلب تصنيف النوايا الإضافية تعيين ملصقات النوايا إلى الكلام الجزئي. ومع ذلك، لا تحتوي الكلام الجزئي بالضرورة على معلومات كافية يتم تعيينها إلى فئة النية من كلامها الكامل (بشكل صحيح وبدرجة معينة من الثقة). باستخدام التفسير النهائي كحقيقة أرضية لقياس دقة المصنف أثناء تصنيف النوايا للكلمات الجزئية مشكلة. نقوم بإصدار شامل، مجموعة بيانات من الكلام الجزئي والكامل مع شروح بشرية من علامات النية المعقولة عن أجزاء مختلفة من كل كلام، كأساس العلوي (البشري) لتصنيف النية الشديدة. نقوم بتحليل التعليقات التوضيحية الإضافية واقتراح تخفيض الانتروبيا كمقياس لتقارب المعلقين البشري بشأن تفسير (أي ملصق النية). نقول أنه عندما لا يتوقف المحن المعلقون على واحد أو قليل من التفسيرات المحتملة، ومع ذلك فإن المصنف يحدد بالفعل فئة النوايا النهائية في وقت مبكر، فهي علامة تجارية يمكن أن تعزى إلى القطع الأثرية في DataSet.

Incremental intent classification requires the assignment of intent labels to partial utterances. However, partial utterances do not necessarily contain enough information to be mapped to the intent class of their complete utterance (correctly and with a certain degree of confidence). Using the final interpretation as the ground truth to measure a classifier's accuracy during intent classification of partial utterances is thus problematic. We release inCLINC, a dataset of partial and full utterances with human annotations of plausible intent labels for different portions of each utterance, as an upper (human) baseline for incremental intent classification. We analyse the incremental annotations and propose entropy reduction as a measure of human annotators' convergence on an interpretation (i.e. intent label). We argue that, when the annotators do not converge to one or a few possible interpretations and yet the classifier already identifies the final intent class early on, it is a sign of overfitting that can be ascribed to artefacts in the dataset.