ألفا في Semeval-2021 المهمة 6: تصنيف الدعاية القائمة

تصف هذه الورقة نظامنا المشارك في المهمة 6 من Semeval-2021: تركز المهمة على تصنيف تقنية الدعاية متعددة الوسائط وتهدف إلى تصنيف الصورة والنص في 22 فئة. في هذه الورقة، نقترح استخدام الهندسة المعمارية القائمة على المحولات لفوسات القرائن من كل من الصورة والنص. نستكشف فرعين من التقنيات بما في ذلك ضبط النص المحول مسبقا مع ميزات مرئية ممتدة، وضبط المحولات مسبقا مسبقا. للحصول على الميزات المرئية، اختبرنا كل من ميزات الشبكة بناء على ميزات Resnet والمنطقة البارزة من كاشف كائن مسبقا. من بين المحولات متعددة الوسائط المسبدة مسبقا، نختار Ernie-Vil، وهو محولات من المحولات التي يحضرها اثنين من البخار المحددة على بيانات محاذاة على نطاق واسع على نطاق واسع. تنتج Ernie-Vil Fore-Tuing من أجل مهمتنا أداء أفضل بسبب التمثيل المتعدد الوسائط العام للنص والصورة التي تعلمتها إرني فيل. علاوة على ذلك، نظرا لأن توزيع ملصقات التصنيف غير متوازنة للغاية، فإننا نقوم أيضا بمحاولة أخرى على وظيفة الخسارة ويبلغ نتيجة التجربة أن فقدان البؤري سيؤدي أفضل من فقدان انتروبيا. أخيرا كنا فزنا أولا في Subtask C في المنافسة النهائية.

This paper describes our system participated in Task 6 of SemEval-2021: the task focuses on multimodal propaganda technique classification and it aims to classify given image and text into 22 classes. In this paper, we propose to use transformer based architecture to fuse the clues from both image and text. We explore two branches of techniques including fine-tuning the text pretrained transformer with extended visual features, and fine-tuning the multimodal pretrained transformers. For the visual features, we have tested both grid features based on ResNet and salient region features from pretrained object detector. Among the pretrained multimodal transformers, we choose ERNIE-ViL, a two-steam cross-attended transformers pretrained on large scale image-caption aligned data. Fine-tuing ERNIE-ViL for our task produce a better performance due to general joint multimodal representation for text and image learned by ERNIE-ViL. Besides, as the distribution of the classification labels is very unbalanced, we also make a further attempt on the loss function and the experiment result shows that focal loss would perform better than cross entropy loss. Last we have won first for subtask C in the final competition.