1213LI في Semeval-2021 المهمة 6: اكتشاف الدعاية مع اهتمام متعدد الوسائط والنماذج المدربة مسبقا

تقدم هذه الورقة الحل المقترح من قبل فريق 1213LI ل Subtask 3 في مهمة Semeval-2021: تحديد تقنيات الإقناع المتعددة المستخدمة في المحتوى متعدد الوسائط للميمي.استكشفنا مناهج مختلفة في استخراج ميزة الكشف عن ملصقات الإقناع.توظف نموذجنا النهائي النماذج المدربة مسبقا بما في ذلك روبرتا و RESNET-50 كمستخلص ميزة للنصوص والصور، على التوالي، ويعتمد طبقة تضمين الملصقات مع آلية اهتمام متعدد الوسائط لقياس تشابه الملصقات مع المعلومات متعددة الوسائطمميزات الصمامات للتوقعات التسمية.تتفوقت طريقة لدينا المقترحة على الطريقة الأساسية المقدمة وتحقق 3 من 16 مشاركا مع 0.54860 / 0.22830 لعشرات مايكرو / ماكرو F1.

This paper presents the solution proposed by the 1213Li team for subtask 3 in SemEval-2021 Task 6: identifying the multiple persuasion techniques used in the multi-modal content of the meme. We explored various approaches in feature extraction and the detection of persuasion labels. Our final model employs pre-trained models including RoBERTa and ResNet-50 as a feature extractor for texts and images, respectively, and adopts a label embedding layer with multi-modal attention mechanism to measure the similarity of labels with the multi-modal information and fuse features for label prediction. Our proposed method outperforms the provided baseline method and achieves 3rd out of 16 participants with 0.54860/0.22830 for Micro/Macro F1 scores.