تقييمات العاطفة: كيف شدة وثقة التوضيحية والاتفاقيات المتشابكة

عندما يحكم البشر على المحتوى العاطفي للنصوص، فإنها تقوم أيضا بتقييم صحة هذا الحكم أيضا ضمنيا، وهذا هو ثقتهم. نحن نفترض أن ثقة الناس (في) الذين أدوا جيدا في مهمة شرح يؤدي إلى اتفاقيات (ديس) بين بعضها البعض. إذا كان هذا صحيحا، فقد تعمل الثقة كأداة تشخيصية للفروق المنهجية في التعليقات التوضيحية. لتحقيق افتراضنا، نقوم بإجراء دراسة فرعية من جمعية اللغة الإنجليزية الأمريكية المعاصرة، والتي نطلب فيها أن نلتزم بالتمييز الجمل المحايدة من المشاعر، مع تسجيل ثقة إجاباتهم. تبين الثقة لتقريب الخلافات المعتارية. علاوة على ذلك، نجد أن الثقة مرتبطة بشدة العاطفة: إدراك التأثير الأقوى في النص يطالب المعلقون إلى مزيد من عروض التصنيف أكثر. هذه البصيرة ذات صلة بدراسات النمذجة من شدة الشدة، حيث تفتح السؤال الريادة أو المصنفين التلقائيين في الواقع تنبأوا بشدة، أو ثقة الإنسان المتصورة بالأحرى.

When humans judge the affective content of texts, they also implicitly assess the correctness of such judgment, that is, their confidence. We hypothesize that people's (in)confidence that they performed well in an annotation task leads to (dis)agreements among each other. If this is true, confidence may serve as a diagnostic tool for systematic differences in annotations. To probe our assumption, we conduct a study on a subset of the Corpus of Contemporary American English, in which we ask raters to distinguish neutral sentences from emotion-bearing ones, while scoring the confidence of their answers. Confidence turns out to approximate inter-annotator disagreements. Further, we find that confidence is correlated to emotion intensity: perceiving stronger affect in text prompts annotators to more certain classification performances. This insight is relevant for modelling studies of intensity, as it opens the question wether automatic regressors or classifiers actually predict intensity, or rather human's self-perceived confidence.