ماذا تعني ابتسامتك؟اكتشاف المشترك السخرية متعددة الوسائط والشاعر باستخدام احتمال الكم

تجسد السخرية والشعور من عدم اليقين الجوهري للإدراك الإنساني، مما يجعل الكشف المشترك عن السخرية متعددة الوسائط ومشاعر مهمة صعبة. في ضوء مزايا الاحتمالات الكمومية (QP) في نمذجة هذا الشكوك، تستكشف هذه الورقة إمكانات QP كإطار رياضي وتقترح إطارا للتعليم متعدد المهام المدفوعة من QP (QPM). ينطوي إطار QPM على تشفير تمثيل متعدد الوسائط متعدد الأوضاع، وهي فرعية فرعية تشبه الاصطدام الكمومية وآلية قياس الكم. يتم ترميز كل الكلام متعدد الوسائط (على سبيل المثال، النصي، المرئي البصري) لأول مرة كتراكبة كمية لمجموعة من المصطلحات الأساس باستخدام تمثيل ذو قيمة معقدة. بعد ذلك، يرفع الشبكة الفرعية التي تشبه الكتابة الكمومية تكوين الدولة الكم وتدخل الكم لنموذج التفاعل السياقي بين الكلام المجاورة والارتباطات عبر الطرائق على التوالي. أخيرا، يتم إجراء القياسات الكمية غير المتوافقة على التمثيل المتعدد الوسائط لكل كلام لإحداث النتائج الاحتمالية من السخرية والاعتراف بالمشاعر. تظهر النتائج التجريبية أن نموذجنا يحصل على أداء حديثة.

Sarcasm and sentiment embody intrinsic uncertainty of human cognition, making joint detection of multi-modal sarcasm and sentiment a challenging task. In view of the advantages of quantum probability (QP) in modeling such uncertainty, this paper explores the potential of QP as a mathematical framework and proposes a QP driven multi-task (QPM) learning framework. The QPM framework involves a complex-valued multi-modal representation encoder, a quantum-like fusion subnetwork and a quantum measurement mechanism. Each multi-modal (e.g., textual, visual) utterance is first encoded as a quantum superposition of a set of basis terms using a complex-valued representation. Then, the quantum-like fusion subnetwork leverages quantum state composition and quantum interference to model the contextual interaction between adjacent utterances and the correlations across modalities respectively. Finally, quantum incompatible measurements are performed on the multi-modal representation of each utterance to yield the probabilistic outcomes of sarcasm and sentiment recognition. The experimental results show that our model achieves a state-of-the-art performance.