Momenta: إطار متعدد الوسائط للكشف عن الميمات الضارة وأهدافها

أصبحت ميمات الإنترنت وسيلة قوية لنقل الأفكار السياسية والنفسية والاجتماعية الثقافية. على الرغم من أن الميمات هي روح الدعابة عادة، فقد شهدت الأيام الأخيرة تصعيدا من الأيمن الضارة المستخدمة في التصيد والتبريد الإلكتروني وسوء المعاملة. يكتشف مثل هذه الميمات صعبة لأنها يمكن أن تكون مشفرة للغاية ومخفية. علاوة على ذلك، في حين أن العمل السابق قد ركز على جوانب محددة من الميمات مثل خطاب الكراهية والدعاية، إلا أنه كان هناك القليل من العمل على الضرر بشكل عام. هنا، نحن نهدف إلى سد هذه الفجوة. على وجه الخصوص، نركز على مهمتين: (ط) اكتشاف الميمات الضارة، و (2) تحديد الكيانات الاجتماعية التي يستهدفونها. لقد تمديد مجموعة بيانات الضرر التي تم إصدارها مؤخرا، والتي غطت covid-19، مع ميمات إضافية وموضوع جديد: السياسة الأمريكية. لحل هذه المهام، نقترح الزخم (إطار متعدد الوسائط للكشف عن الميمات الضارة وأهدافها) شبكة عميقة عميقة متعددة الوسائط تستخدم وجهات نظر عالمية ومحلية للكشف عن الميمات الضارة. تحلل الزخم بشكل منهجي المنظور المحلي والعالمي لمنظمة الإدخال (في كلا الطرائق) ويربطها في سياق الخلفية. الزخم هو تفسير ومتعمول، وإظهار تجاربنا أنه يتفوق على العديد من نهج التنافس القوية.

Internet memes have become powerful means to transmit political, psychological, and socio-cultural ideas. Although memes are typically humorous, recent days have witnessed an escalation of harmful memes used for trolling, cyberbullying, and abuse. Detecting such memes is challenging as they can be highly satirical and cryptic. Moreover, while previous work has focused on specific aspects of memes such as hate speech and propaganda, there has been little work on harm in general. Here, we aim to bridge this gap. In particular, we focus on two tasks: (i)detecting harmful memes, and (ii) identifying the social entities they target. We further extend the recently released HarMeme dataset, which covered COVID-19, with additional memes and a new topic: US politics. To solve these tasks, we propose MOMENTA (MultimOdal framework for detecting harmful MemEs aNd Their tArgets), a novel multimodal deep neural network that uses global and local perspectives to detect harmful memes. MOMENTA systematically analyzes the local and the global perspective of the input meme (in both modalities) and relates it to the background context. MOMENTA is interpretable and generalizable, and our experiments show that it outperforms several strong rivaling approaches.