عنصر عنصري أو جنسي؟تصنيف الميمات وراء البغيض

الميمات هي مجموعات من النص والصور التي غالبا ما تكون روح الدعابة في الطبيعة.ولكن، قد لا يكون هذا هو الحال دائما، وقد تصور مجموعات معينة من النصوص والصور الكراهية، يشار إليها باسم الميمات البغيضة.يقدم هذا العمل خط أنابيب متعدد الوسائط يأخذ كل من الميزات المرئية والنصية من الميمات إلى (1) تحديد الفئة المحمية (على سبيل المثال، الجنس، الجنس وما إلى ذلك) التي هاجمت؛و (2) اكتشاف نوع الهجوم (E.G. ازدراء، Slurs وما إلى ذلك).يستخدم خط أنابيبنا تمثيلا مرئيا ومرئيا تدريبا مسبقا مسبقا، متبوعا بتصنيف الانحدار اللوجستي البسيط.نحن نوظف خط أنابيبنا على مجموعة بيانات تحدي الميمات البغيضة مع ملصقات إضافية تم إنشاؤها حديثا عن الفئة المحمية ونوع الهجوم.يحقق أفضل نموذج لدينا AUROC من 0.96 لتحديد الفئة المحمية، و 0.97 للكشف عن نوع الهجوم.نطلق سرد علاماتنا في https://github.com/harisbinzia/hatefulmemes

Memes are the combinations of text and images that are often humorous in nature. But, that may not always be the case, and certain combinations of texts and images may depict hate, referred to as hateful memes. This work presents a multimodal pipeline that takes both visual and textual features from memes into account to (1) identify the protected category (e.g. race, sex etc.) that has been attacked; and (2) detect the type of attack (e.g. contempt, slurs etc.). Our pipeline uses state-of-the-art pre-trained visual and textual representations, followed by a simple logistic regression classifier. We employ our pipeline on the Hateful Memes Challenge dataset with additional newly created fine-grained labels for protected category and type of attack. Our best model achieves an AUROC of 0.96 for identifying the protected category, and 0.97 for detecting the type of attack. We release our code at https://github.com/harisbinzia/HatefulMemes