مشكلة البداية الباردة لتعليقات الفيديو الحية الآلي

تعتبر تعليقات الفيديو الحية، أو '' Danmu ''، ميزة ناشئة على منصات الفيديو الآسيوية عبر الإنترنت. Danmu تعليقات متزامنة الوقت مغطاة في تشغيل الفيديو. هذه التعليقات تثري بشكل فريد تجربة المستخدمين ومشاركتهم. أصبحت هذه التعليقات عامل تحديدا في شعبية مقاطع الفيديو. على غرار "مشكلة البداية الباردة" في أنظمة التوصية، سيبدأ الفيديو فقط في جذب الانتباه عندما تم نشر تعليقات Danmu كافية على ذلك. ندرس مشكلة البداية الباردة هذه وفحص كيفية إنشاء تعليقات جديدة تلقائيا على مقاطع الفيديو الأقل التعرف. نقترح التنبؤ بتعليقات Danmu من خلال استغلال مجموعة متعددة الوسائط من محتوى الفيديو المرئي، الترجمات، إشارات الصوت، وأي تعليقات محيطة (عندما تكون موجودة). تضيء طريقةنا هذه الطرائق المتعددة في شبكة محول يتم تدريبها بعد ذلك على سيناريوهات كثافة للتعليق المختلفة. نقيم نظامنا المقترح من خلال كل من طريقة التقييم القائمة على استرجاع، وكذلك الحكم الإنساني. تظهر النتائج أن نظامنا المقترح يحسن بشكل كبير على الأساليب الحديثة.

Live video comments, or ''danmu'', are an emerging feature on Asian online video platforms. Danmu are time-synchronous comments that are overlaid on a video playback. These comments uniquely enrich the experience and engagement of their users. These comments have become a determining factor in the popularity of the videos. Similar to the ''cold start problem'' in recommender systems, a video will only start to attract attention when sufficient danmu comments have been posted on it. We study this video cold start problem and examine how new comments can be generated automatically on less-commented videos. We propose to predict the danmu comments by exploiting a multi-modal combination of the video visual content, subtitles, audio signals, and any surrounding comments (when they exist). Our method fuses these multi-modalities in a transformer network which is then trained for different comment density scenarios. We evaluate our proposed system through both a retrieval based evaluation method, as well as human judgement. Results show that our proposed system improves significantly over state-of-the-art methods.