إدراك العاطفة، العاطفة، الأذرع، أو التلقائي: استراتيجيات إنشاء Corpus للحصول على التعليقات التوضيحية تقييم الحدث المعرفي

توضح نظريات التقييم كيف يؤدي التقييم المعرفي للحدث إلى عاطفة معينة. على النقيض من نظريات المشاعر الأساسية أو التأثير (التكافؤ / الإثارة)، لم تتلق هذه النظرية الكثير من الاهتمام في معالجة اللغة الطبيعية. ومع ذلك، في علم النفس، ثبت أن سميث وإلسنثورث (1985) أظهر أن أبعاد التقييم الاهتمام، اليقين، الجهد المتوقع، والمسؤولية، والمسؤولية السيطرة والتحكم الظرفي تميز بين (على الأقل) 15 فصول العاطفة. ندرس استراتيجيات توضيحية مختلفة لهذه الأبعاد، استنادا إلى كوربوس الفنية التي تركز على الأحداث (Troiano et al.، 2019). نقوم بتحليل اثنين من إعدادات التوضيحية اليدوية: (1) إظهار النص للتعليق أثناء إخفاء ملصق العاطفة ذوي الخبرة؛ (2) الكشف عن العاطفة المرتبطة بالنص. يتيح الإعداد 2 أن يقوم المعلقون بتطوير حدس أكثر واقعية لهذا الحدث الموصوفين، في حين أن الإعداد 1 هو إجراء شروح مزيد من التعريفي، والاعتماد بحت على النص. نقوم بتقييم هذه الاستراتيجيات بطريقتين: من خلال قياس اتفاقية Insine-Annotator وضبط روبرتا للتنبؤ بمتغيرات التقييم. تظهر نتائجنا أن معرفة العاطفة تزيد من موثوقية المعلقين. علاوة على ذلك، نقوم بتقييم استراتيجية وضع العلامات المستندة إلى القواعد التلقائية بحتة (تقييم الاستنتاج من فصول العاطفة المشروحة). يؤدي التدريب على الملصقات المعينة تلقائيا إلى أداء تنافسي من المصنف لدينا، حتى عند اختباره في التوضيحية اليدوية. هذا مؤشر أنه قد يكون من الممكن إنشاء Corpa Corpora تلقائيا لكل مجال موجودا للعاطفة الموجودة بالفعل.

Appraisal theories explain how the cognitive evaluation of an event leads to a particular emotion. In contrast to theories of basic emotions or affect (valence/arousal), this theory has not received a lot of attention in natural language processing. Yet, in psychology it has been proven powerful: Smith and Ellsworth (1985) showed that the appraisal dimensions attention, certainty, anticipated effort, pleasantness, responsibility/control and situational control discriminate between (at least) 15 emotion classes. We study different annotation strategies for these dimensions, based on the event-focused enISEAR corpus (Troiano et al., 2019). We analyze two manual annotation settings: (1) showing the text to annotate while masking the experienced emotion label; (2) revealing the emotion associated with the text. Setting 2 enables the annotators to develop a more realistic intuition of the described event, while Setting 1 is a more standard annotation procedure, purely relying on text. We evaluate these strategies in two ways: by measuring inter-annotator agreement and by fine- tuning RoBERTa to predict appraisal variables. Our results show that knowledge of the emotion increases annotators' reliability. Further, we evaluate a purely automatic rule-based labeling strategy (inferring appraisal from annotated emotion classes). Training on automatically assigned labels leads to a competitive performance of our classifier, even when tested on manual annotations. This is an indicator that it might be possible to automatically create appraisal corpora for every domain for which emotion corpora already exist.