العقل في Semeval-2021 المهمة 6: كشف الدعاية باستخدام التعلم النقل والانصهار المتعدد الوسائط

نحن نصف أنظمتنا من SubTask1 و SubTask3 لمهمة Semeval-2021 6 على اكتشاف تقنيات الإقناع في النصوص والصور.الغرض من SubTask1 هو تحديد تقنيات الدعاية المعطاة المحتوى النصي، وهدف الفرع SubTask3 هو اكتشافها بالنظر إلى كل من المحتوى النصي والبصرية.بالنسبة إلى SubTask1، نقوم بالتحقيق في التعلم التحويل بناء على نماذج اللغة المدربة مسبقا (PLMS) مثل بيرت، روبرتا لحل مشاكل تدفق البيانات.بالنسبة إلى SubTask3، نستخرج التمثيلات البصرية غير المتجانسة (I.E.، وميزات الوجه، وميزات OCR، والتمثيلات متعددة الوسائط) واستكشف العديد من استراتيجيات الانصهار متعددة الوسائط المتعددة للجمع بين التمثيلات النصية والمرئية.يوضح التقييم الرسمي طراز الفرع الخاص بنا يحتل المرتبة الأولى ل SubTask1 و 2 ل SubTask3.

We describe our systems of subtask1 and subtask3 for SemEval-2021 Task 6 on Detection of Persuasion Techniques in Texts and Images. The purpose of subtask1 is to identify propaganda techniques given textual content, and the goal of subtask3 is to detect them given both textual and visual content. For subtask1, we investigate transfer learning based on pre-trained language models (PLMs) such as BERT, RoBERTa to solve data sparsity problems. For subtask3, we extract heterogeneous visual representations (i.e., face features, OCR features, and multimodal representations) and explore various multimodal fusion strategies to combine the textual and visual representations. The official evaluation shows our ensemble model ranks 1st for subtask1 and 2nd for subtask3.