التواصل البشري متعدد الوسائط في الطبيعة؛ من خلال طرائق متعددة مثل تعبيرات اللغة والصوت والوجه، يتم التعبير عن الآراء والعواطف. تظهر البيانات في هذا المجال التفاعلات المعقدة متعددة العلاقات والزمنية. التعلم من هذه البيانات هو مشكلة بحثية تحديا أساسيا.
في هذه الورقة، نقترح الرسم البياني الاهتمام الأزمني (MTAG). MTAG هو نموذج عصبي مقاوم للرسمية يوفر إطارا مناسبا لتحليل البيانات المتسلسلة متعددة الوسائط. نقدم أولا إجراءات لتحويل بيانات التسلسل غير المعقدة متعددة الوسائط إلى رسم بياني مع العقد والحواف غير المتجانسة التي تلتقط التفاعلات الغنية عبر الطرائق وعبر الوقت. ثم، تم تصميم عملية رسم بياني رواية، تسمى MTAG FOUSION، إلى جانب تقنية تشذيب ديناميكية وقراءة، لمعالجة الرسوم البيانية الوظيفة الزمنية هذه بكفاءة والتقاط التفاعلات المختلفة. من خلال تعلم التركيز فقط على التفاعلات المهمة داخل الرسم البياني، تحقق MTAG أداء حديثة على تحليل المعنويات متعددة الوسائط ومعايير التعرف على العاطفة، مع الاستفادة من المعلمات النموذجية أقل بكثير.
