منذ إنشائها، أدت نماذج اللغة القائمة على المحولات إلى مكاسب أداء مثيرة للإعجاب عبر مهام معالجة لغات طبيعية متعددة. بالنسبة للعربية، يتم تحقيق النتائج الحالية من أحدث البيانات في معظم مجموعات البيانات بواسطة نموذج اللغة العربية. على الرغم من هذه التطورات الحديثة، يستمر الكشف عن السخرية والشاحنات بمهام تحديا باللغة العربية، بالنظر إلى التشكل الغني باللغة والتفاوت اللغوي والاختلافات الجدلية. تقدم فريق Project Team Profers لفريق SPPU-AASM للمهمة المشتركة Wanlp Arsarcasm المشتركة 2021، والمراكز حول الكشف عن السخرية ومشاعر القطبية للعقائز العربية. تقترح الدراسة نموذجا مختلطا، يجمع بين تمثيلات الجملة من أرابيرت مع ناقلات كلمة ثابتة تدربت على شركة الوسائط الاجتماعية العربية. يحقق النظام المقترح درجة F1-Saarchastic من 0.62 ودرجة F-PN من 0.715 بمهام الكشف عن السخرية والشاحنات، على التوالي. تشير نتائج المحاكاة إلى أن النظام المقترح تتفوق على العديد من النهج الحالية لكل من المهام، مما يشير إلى أن دمج تمثيلات نصية خالية من السياق والسياق يمكن أن تساعد في التقاط جوانب تكميلية من معنى الكلمات باللغة العربية. احتل النظام المرتبة الثانية والعاشرة في المهام الفرعية ذات الصلة بتكشف السخرية وتحديد المعنويات.