نحن نعتبر مهمة ربط حسابات وسائل الاعلام الاجتماعية التي تنتمي إلى المؤلف نفسه في أزياء آلية على أساس المحتوى والبيانات التعريف لتدفقات المستندات المقابلة.نركز على تعلم التضمين الذي يقوم بخرائط عينات ذات حجم متغير من نشاط المستخدم - بدءا من مشاركات وا
حدة بأكمله أشهر من النشاط - إلى مساحة متجهية، حيث عينات من نفس خريطة المؤلف إلى النقاط القريبة.لا يتطلب نهجنا بيانات مشروح من البشر لأغراض تدريبية، مما يتيح لنا الاستفادة من كميات كبيرة من محتوى وسائل التواصل الاجتماعي.تتفوق النموذج المقترح على العديد من خطوط الأساس التنافسية بموجب إطار تقييم رواية على غرار بعد معايير الاعتراف المنشأة في مجالات أخرى.إن طريقتنا تحقق دقة ربط عالية، حتى مع عينات صغيرة من الحسابات غير المرجة في وقت التدريب، شرط أساسي للتطبيقات العملية لإطار الارتباط المقترح.
يعمل المصنف الموجود في مهام الحوسبة العاطفية متعددة الوسائط، مثل التعرف على العاطفة والتعرف على الشخصية، عموما خط أنابيب ذات مرحلتين من خلال أول استخراج تمثيلات ميزة لكل طريقة واحدة مع الخوارزميات المصنوعة يدويا، ثم أداء التعلم المنتهي مع الميزات الم
ستخرجة. ومع ذلك، يتم إصلاح الميزات المستخرجة ولا يمكن ضبطها بشكل جيد على المهام المستهدفة المختلفة، والعثور على ميزة خوارزميات الاستخراج يدويا لا تعميم أو مقياس جيدا لمهام مختلفة، والتي يمكن أن تؤدي إلى الأداء دون الأمثل. في هذه الورقة، نقوم بتطوير نموذج طرف بالكامل يربط المرحلتين وتحسينها بشكل مشترك. بالإضافة إلى ذلك، نقوم بإعادة هيكلة مجموعات البيانات الحالية لتمكين التدريب الكامل للنهاية. علاوة على ذلك، لتقليل النفقات الحاسوبية النماذج المحسوبة بالنماذج الطرفية إلى النهاية، نقدم آلية اهتمامية متناثرة عبر مشروط لاستخراج الميزة. تظهر النتائج التجريبية أن طرازنا الناتج الكامل ينفج بشكل كبير يتفوق بشكل كبير النماذج الحالية للحالة القائمة على خط أنابيب الطورين. علاوة على ذلك، من خلال إضافة اهتمام متناثر عبر الوسائط، يمكن لنموذجنا الحفاظ على الأداء مع حوالي نصف حساب أقل في جزء استخراج الميزة من النموذج.
اختارت الأبحاث متعددة الوسائط بشكل كبير في مساحة السؤال الرد على المهمة التي يتم تمديدها إلى السؤال المرئي الرد على الرسوم البيانية، والرسوم البيانية الإجابة عليها وكذلك مسألة مساهمة مدخل متعددة الوسائط.ومع ذلك، فإن كل هذه الاستكشافات تنتج إخراج نصي
غير مهني كإجابة.في هذه الورقة، نقترح مهمة رواية - MIMOQA - الإدخال المتعدد الوسائط المتعددة الناتج السؤال الرد الذي يكون فيه الإخراج متعدد الوسائط.من خلال التجارب البشرية، نوضح تجريبيا أن هذه النواتج متعددة الوسائط توفر فهما معرفيا أفضل للإجابات.نقترح أيضا إطارا للردا على السؤال متعدد الوسائط، ميكسبرت، يشتمل على اهتماما نصي مشتركا ومرفقيا نحو إنتاج مثل هذا الناتج متعدد الوسائط.تعتمد طريقنا على مجموعة بيانات متعددة الوسائط غير مصنفة لهذه المشكلة من مجموعات البيانات غير المتوفرة للجمهور.نظهر الأداء الفائق ل Mexbert ضد خطوط أساسية قوية على كل من المقاييس التلقائية وكذلك الإنسان.
