Lecun في Semeval-2021 Task 6: اكتشاف تقنيات الإقناع في نص باستخدام محولات محولات مسبقا حظرها وتعزيز البيانات

قمنا بتطوير نظام للمهمة 6 المهمة الفرعية 1 للكشف عن الدعاية في الميمات. تم استخدام مجموعة بيانات خارجية ومجموعة بيانات تكبير لتمديد مجموعة بيانات المنافسة الرسمية. تم تطبيق تقنيات تكبير البيانات على مجموعة البيانات الخارجية ومجموعة بيانات المنافسة للتوصل إلى مجموعة البيانات المعززة. تدربنا 5 محولات (Deberta و 4 روبرتا) وفرعهم لجعل التنبؤ. قمنا بتدريب نموذج 1 روبرتا في البداية على مجموعة البيانات المعززة لعدد قليل من العصر، ثم ضبطها على مجموعة بيانات المنافسة التي تحسن من النتائج F1 الصغرى حتى 0.1 درجات 0.1. بعد ذلك، تم تدريب نموذج روبرتا أولي آخر على مجموعة البيانات الخارجية، حيث تم دمجها مع مجموعة البيانات المعززة لعدد قليل من الحدوث والضبط بشكل جيد على مجموعة بيانات المنافسة. علاوة على ذلك، كنعت النماذج الأولية مع النماذج بعد ضبط الرصيد. بالنسبة للنموذج الأخير في الفرقة، قامنا بتدريب نموذج Deberta على مجموعة البيانات المعززة دون ضبطه على مجموعة بيانات المنافسة. أخيرا، بلغنا استرجاع إخراج كل نموذج في الفرقة لجعل التنبؤ.

We developed a system for task 6 sub-task 1 for detecting propaganda in memes. An external dataset and augmentation data-set were used to extend the official competition data-set. Data augmentation techniques were applied on the external data-set and competition data-set to come up with the augmented data-set. We trained 5 transformers (DeBERTa, and 4 RoBERTa) and ensembled them to make the prediction. We trained 1 RoBERTa model initially on the augmented data-set for a few epochs and then fine-tuned it on the competition data-set which improved the f1-micro up to 0.1 scores. After that, another initial RoBERTa model was trained on the external data-set merged with the augmented data-set for few epochs and fine-tuned it on the competition data-set. Furthermore, we ensembled the initial models with the models after fine-tuning. For the final model in the ensemble, we trained a DeBERTa model on the augmented data-set without fine-tuning it on the competition data-set. Finally, we averaged the output of each model in the ensemble to make the prediction.