شروط الارتفاع استخراج (أكلت) وتصنيف معنويات الجانب (ASC) هي مهمتان أساسيتان من المهام الفرعية الأساسية والغرامة في تحليل المعنويات على مستوى الجانب (ALSA). في التحليل النصي، تم استخراج المشترك استخراج كل من شروط الارتفاع وأقطاب المعنويات كثيرا بسبب ط
لبات أفضل من المهمة الفرعية الفردية. ومع ذلك، في السيناريو متعدد الوسائط، تقتصر الدراسات الحالية على التعامل مع كل مهمة فرعية بشكل مستقل، والتي تفشل في نموذج العلاقة الفطرية بين الأهدافين أعلاه وتتجاهل التطبيقات الأفضل. لذلك، في هذه الورقة، نحن أول من يؤدي ذلك بشكل مشترك أداء أكلت متعددة الوسائط (ماتي) ومتعدد الوسائط (MASC)، ونقترح نهج التعلم المشترك متعدد الوسائط مع اكتشاف العلاقات عبر الوسائط المساعد للمتوسطة تحليل المعنويات على مستوى الجانب (Malsa). على وجه التحديد، نقوم أولا بإنشاء وحدة اكتشاف علاقة نصية إضافية للكشف عنها للتحكم في الاستغلال المناسب للمعلومات المرئية. ثانيا، نعتمد إطار التسلسل الهرمي لسجل الاتصال متعدد الوسائط بين رفيقه ومتك اليومي، بالإضافة إلى توجيه بصري منفصل لكل وحدة فرعية. أخيرا، يمكننا الحصول على جميع أطريات المعنويات على مستوى جانب الجسبي تعتمد على الجوانب المحددة المستخرجة بشكل مشترك. تظهر تجارب واسعة فعالية نهجنا مقابل الأساليب النصية المشتركة والخط الأنابيب ونهج متعددة الوسائط.
اجتذبت تحليل المعنويات الفئة في الآراء اهتمام الأبحاث المتزايد.تستخدم الأساليب المهيمنة نماذج لغة مدربة مسبقا عن طريق تعلم تمثيلات فعالة من الفئة من الفئة، وإضافة طبقات إخراج محددة إلى تمثيلها المدرب مسبقا.نحن نعتبر طريقة أكثر مباشرة لاستخدام نماذج ا
للغة المدربة مسبقا، من خلال إلقاء مهام ACSA في مهام توليد اللغة الطبيعية، باستخدام جمل اللغة الطبيعية لتمثيل الإخراج.تتيح لطريقتنا استخدام المزيد من الاستخدام المباشر للمعرفة المدربة مسبقا في طرازات اللغة SEQ2SEQ من خلال إعداد المهام مباشرة أثناء التدريب المسبق.تشير التجارب في العديد من المعايير إلى أن طريقتنا تمنح أفضل النتائج المبلغ عنها، حيث توجد مزايا كبيرة في إعدادات قليلة وإعدادات طلقة صفرية.
