Robbert العاطفي Bertje غير حساس: الجمع بين المحولات وتؤثر على Lexica للكشف عن العاطفة الهولندية

في الخطوة الأولى نحو تحسين الكشف عن المشاعر الهولندية، نحاول الجمع بين نماذج المحولات الهولندية Bertje والرسم مع الأساليب القائمة على المعجم.نقترح دوران هندستين: واحدة يتم فيها حقن معلومات معجمية مباشرة في طراز المحول ونهج التعلم التلوي حيث يتم دمج التنبؤات من المحولات مع ميزات المعجم.يتم اختبار النماذج على 1000 تغريدة هولندية و 1000 تعليق من البرامج التلفزيونية التي تم تفاحها يدويا مع فئات العاطفة والأبعاد.نجد أن Robbert تفوق بوضوح Bertje، ولكن هذا يضيف مباشرة معلومات المعجم إلى المحولات لا يحسن الأداء.في نهج التعلم التلوي، أصبحت معلومات المعجم تأثير إيجابي على Bertje، ولكن ليس على Robbert.هذا يشير إلى أن المزيد من المعلومات العاطفية تحتوي بالفعل ضمن نموذج اللغة الأخير.

In a first step towards improving Dutch emotion detection, we try to combine the Dutch transformer models BERTje and RobBERT with lexicon-based methods. We propose two architectures: one in which lexicon information is directly injected into the transformer model and a meta-learning approach where predictions from transformers are combined with lexicon features. The models are tested on 1,000 Dutch tweets and 1,000 captions from TV-shows which have been manually annotated with emotion categories and dimensions. We find that RobBERT clearly outperforms BERTje, but that directly adding lexicon information to transformers does not improve performance. In the meta-learning approach, lexicon information does have a positive effect on BERTje, but not on RobBERT. This suggests that more emotional information is already contained within this latter language model.