multimodal أو النص؟استرجاع أو بيرت؟معيار الطبقات للمهمة المشتركة على الميمات البغيضة

المهمة المشتركة بشأن الميمات البغيضة هي تحدي يهدف إلى اكتشاف المحتوى البغيض في الميمات من خلال دعوة تنفيذ النظم التي تفهم الميمات، يحتمل أن تجمع بين الصورة والمعلومات النصية.يتكون التحدي من ثلاثة مهام اكتشاف: الكراهية، الفئة المحمية ونوع الهجوم.الأول هو مهمة تصنيف ثنائية، في حين أن الاثنين الآخران مهام التصنيف متعدد العلامات.تضمنت مشاركتنا خط الأساس بيرت القائم على النص (TXTBERT)، وهو نفسه ولكن إضافة معلومات من الصورة (IMGBERT)، ونهج الاسترجاع العصبي.لقد جربنا أيضا نماذج التصنيف المعزز للاسترجاع.وجدنا أن مجموعة Txtbert و Imgbert تحقق أفضل أداء من حيث النتيجة AUC ROC في قسمين من المهام الثلاث في مجموعة التطوير الخاصة بنا.

The Shared Task on Hateful Memes is a challenge that aims at the detection of hateful content in memes by inviting the implementation of systems that understand memes, potentially by combining image and textual information. The challenge consists of three detection tasks: hate, protected category and attack type. The first is a binary classification task, while the other two are multi-label classification tasks. Our participation included a text-based BERT baseline (TxtBERT), the same but adding information from the image (ImgBERT), and neural retrieval approaches. We also experimented with retrieval augmented classification models. We found that an ensemble of TxtBERT and ImgBERT achieves the best performance in terms of ROC AUC score in two out of the three tasks on our development set.