في هذه الورقة، نبلغ عن نهجنا لمعالجة المهمة المشتركة ل Germeval 2021 بشأن تحديد تعليقات سمية ومشاركة وحقائق اللغة الألمانية. لقد قدمنا ثلاثة أشواط لكل فرقة فرعية بناء على مجموعات من ثلاث نماذج تستخدم من حيث أن تضمينات سياقية من نماذج اللغة المدربة مسبقا باستخدام SVM والأصنف في الشبكة العصبية. نحن ندرج نماذج اللغة اللغوية واللغة - مثل اللغة المعزنة - سواء مع وبدون ضبط جيد. نلاحظ أنه بالنسبة للتشغيل الذي قمنا بإرسال نماذج SVM إلى البيانات التدريبية وتأثر ذلك على طريقة التجميع (التصويت بالأغلبية البسيطة) من الفرمشط. يسجل النموذج أداء أقل في مجموعة الاختبار من مجموعة التدريب. استكشاف مسألة التجاوز الكشف عنها أنه بسبب وجود خطأ في خط الأنابيب، لم يتم تدريب المدافع الذي قدمناه على المجموعة الكاملة ولكن فقط في مجموعة تدريبية صغيرة. لذلك في هذه الورقة، نضمن أيضا النتائج التي نحصل عليها عند تدريبها على مجموعة التدريب الكامل والتي تثبت قوة الفرمز.