تحليل المشاعر المعنونة متعددة الوسائط المشتركة مع الكشف عن العلاقة عبر الوسائط المساعد

شروط الارتفاع استخراج (أكلت) وتصنيف معنويات الجانب (ASC) هي مهمتان أساسيتان من المهام الفرعية الأساسية والغرامة في تحليل المعنويات على مستوى الجانب (ALSA). في التحليل النصي، تم استخراج المشترك استخراج كل من شروط الارتفاع وأقطاب المعنويات كثيرا بسبب طلبات أفضل من المهمة الفرعية الفردية. ومع ذلك، في السيناريو متعدد الوسائط، تقتصر الدراسات الحالية على التعامل مع كل مهمة فرعية بشكل مستقل، والتي تفشل في نموذج العلاقة الفطرية بين الأهدافين أعلاه وتتجاهل التطبيقات الأفضل. لذلك، في هذه الورقة، نحن أول من يؤدي ذلك بشكل مشترك أداء أكلت متعددة الوسائط (ماتي) ومتعدد الوسائط (MASC)، ونقترح نهج التعلم المشترك متعدد الوسائط مع اكتشاف العلاقات عبر الوسائط المساعد للمتوسطة تحليل المعنويات على مستوى الجانب (Malsa). على وجه التحديد، نقوم أولا بإنشاء وحدة اكتشاف علاقة نصية إضافية للكشف عنها للتحكم في الاستغلال المناسب للمعلومات المرئية. ثانيا، نعتمد إطار التسلسل الهرمي لسجل الاتصال متعدد الوسائط بين رفيقه ومتك اليومي، بالإضافة إلى توجيه بصري منفصل لكل وحدة فرعية. أخيرا، يمكننا الحصول على جميع أطريات المعنويات على مستوى جانب الجسبي تعتمد على الجوانب المحددة المستخرجة بشكل مشترك. تظهر تجارب واسعة فعالية نهجنا مقابل الأساليب النصية المشتركة والخط الأنابيب ونهج متعددة الوسائط.

Aspect terms extraction (ATE) and aspect sentiment classification (ASC) are two fundamental and fine-grained sub-tasks in aspect-level sentiment analysis (ALSA). In the textual analysis, joint extracting both aspect terms and sentiment polarities has been drawn much attention due to the better applications than individual sub-task. However, in the multi-modal scenario, the existing studies are limited to handle each sub-task independently, which fails to model the innate connection between the above two objectives and ignores the better applications. Therefore, in this paper, we are the first to jointly perform multi-modal ATE (MATE) and multi-modal ASC (MASC), and we propose a multi-modal joint learning approach with auxiliary cross-modal relation detection for multi-modal aspect-level sentiment analysis (MALSA). Specifically, we first build an auxiliary text-image relation detection module to control the proper exploitation of visual information. Second, we adopt the hierarchical framework to bridge the multi-modal connection between MATE and MASC, as well as separately visual guiding for each sub module. Finally, we can obtain all aspect-level sentiment polarities dependent on the jointly extracted specific aspects. Extensive experiments show the effectiveness of our approach against the joint textual approaches, pipeline and collapsed multi-modal approaches.