نحن نصف مشاركتنا في جميع المهام المشتركة بين Germeval 2021 بشأن تحديد تعليقات سمية ومشاركة وتحقيق الحقائق.نظامنا هو مجموعة من النماذج المدربة مسبقا من أحدث المعلومات المصنوعة من الميزات المصنعة بعناية.نظهر أن ميزة الهندسة وتكبير البيانات يمكن أن تكون
مفيدة عندما تكون البيانات التدريبية متناثرة.نحن نحقق درجة F1 من 66.87 و 68.93 و 73.91 في التعليق السام والمشاركة في التعليق في التعليق التعليق.
في هذا العمل، نقدم نهجنا على مهمة تصنيف التعليقات السامة (الفرعية 1) من المهمة المشتركة لجيرفال 2021.لهذه المهمة الثنائية، نقترح ثلاث نماذج: نموذج محول بيرت ألماني؛Perceptron متعدد الطبقات، التي تم تدريبها لأول مرة بالتوازي على الإدخال النصي و 14 ميز
ات لغوية إضافية ثم تم تسليمها في طبقة إضافية؛ومثيرة الطبقات متعدد الطبقات مع كل من أنواع الميزات كمدخلات.عززنا النموذج المحول المدرب مسبقا من خلال إعادة تدريبه مع أكثر من مليون تغريدة وصقله على مجموعة بيانات ألمانية إضافية من مهام مماثلة.تم اتخاذ أنظمة بيرت الألمانية النهائية التي تم ضبطها بشكل نهائي كميزات مدخلات نصية لشبكاتنا العصبية.كانت أفضل النماذج الخاصة بنا في بيانات التحقق من الصحة كانت شبكات عصبية، لكن بيرت الألمانية المعززة المكتسبة مع درجة F1 = 0.5895 تنبؤ أعلى في بيانات الاختبار.
