تقدم هذه المقالة تقديم الفرعية 1 و SubTask 2 الذي نشارك فيه في مهمة Semeval-2021 7: Hahackathon: الكشف عن الفكاهة والعموم، نحن نستخدم نموذجا يعتمد على ألبرت يستخدم ألبرت كوحدة لاستخراج ميزات النص.نقوم بتعديل هيكل الطبقة العليا عن طريق إضافة شبكات محددة لتلخيص المعلومات الدلالية بشكل أفضل.أخيرا، يحقق نظامنا درجة F 0.9348 في الفرعية 1A، RMSE من 0.7214 في الفرعية 1B، F-Score من 0.4603 في SubTask 1C، و RMSE من 0.5204 في SubTask 2.