أخبار البصرية: المعيار والتحديات في أخبار الصورة التسمية

نقترح أن نقترح Captioner أخبار البصرية، وهو نموذج كيائن كيائن لمهمة تقسيم صورة الأخبار. نقدم أيضا Visual News، وهو معيار واسع النطاق يتكون من أكثر من مليون صورة إخبارية إلى جانب المقالات الإخبارية المرتبطة، وتستياؤ الصور، ومعلومات المؤلف، والبيانات الوصفية الأخرى. على عكس مهمة تقسيم الصور القياسية، تصور الصور الأخبار المواقف التي يكون فيها الأشخاص والمواقع والأحداث ذات أهمية قصوى. يمكن أن تجمع طريقةنا المقترحة بشكل فعال بين الميزات المرئية والنصية لتوليد التسميات التوضيحية مع معلومات أكثر ثراء مثل الأحداث والكيانات. وبشكل أكثر تحديدا، تم تصميمها على بنية المحولات، يتم تزويد نموذجنا بمزيد من المجهز بتقنيات الانصهار متعددة الوسائط على الرواية وآليات الاهتمام، والتي تم تصميمها لتوليد كيانات اسمه أكثر دقة. تستخدم طريقتنا معلمات أقل بكثير مع تحقيق نتائج تنبؤ أفضل قليلا من الأساليب المنافسة. توضح مجموعة بيانات الأخبار المرئية الأكبر والأكثر تنوعا التحديات المتبقية في تصوير الصور الإخبارية.

استرجاع، تشبيه، وتكوين: إطار للتعميم التركيبي في تقسيم الصور

من المتوقع أن تحتوي أنظمة التسمية على الصور القدرة على الجمع بين المفاهيم الفردية عند وصف المشاهد مع مجموعات المفاهيم التي لم يتم ملاحظتها أثناء التدريب. على الرغم من التقدم الكبير في تقسيم الصور بمساعدة إطار الجيل التلقائي التلقائي، تفشل النهج الحالية في التعميم بشكل جيد إلى مجموعات مفهوم جديدة. نقترح إطارا جديدا يدور حول التحقيق في العديد من مثيلات تدريب التسمية التوضيحية في الصورة المماثلة (استرجاع)، وأداء المناسبات التناظرية على الكيانات ذات الصلة في النماذج الأولية المستردة (القياس)، وتعزيز عملية التوليد بنتائج المنطق (التكوين). تعزز طريقةنا نموذج الجيل عن طريق الإشارة إلى الحالات المجاورة في التدريب المحدد لإنتاج مجموعات مفهوم جديدة في التسميات التوضيحية المولدة. نقوم بإجراء تجارب على معايير تقسيم الصور المستخدمة على نطاق واسع. تحقق النماذج المقترحة تحسنا كبيرا على أساس الأساس المقارنة على كل من مقاييس التقييم المرتبطة بالتكوين ومقاييس تقسيم الصور التقليدية.

المبادئ التوجيهية الصحفية تدرك أخبار الصورة التوضيحية

مهمة تقصير صورة المقال الإخباري يهدف إلى توليد تعليق وصفية وغنية بالمعلومات لصور المقالة الإخبارية.على عكس التسميات التوضيحية التقليدية التي تصف ببساطة محتوى الصورة بمصطلحات عامة، تتبع تعليق الصور الإخبارية إرشادات صحفية وتعتمد اعتمادا كبيرا على الكيانات المسماة لوصف محتوى الصورة، غالبا ما يرسم السياق من المقالة بأكملها.في هذا العمل، نقترح نهجا جديدا لهذه المهمة، بدافع من إرشادات التسمية التوضيحية التي يتبعها الصحفيون.نهجنا، المبادئ التوجيهية الصحفية تدرك صورة أخبار التسمية التوضيحية (Joganic)، ترفد بنية التسميات التوضيحية لتحسين جودة الجيل وتوجيه تصميم التمثيل الخاص بنا.النتائج التجريبية، بما في ذلك دراسات التفصيل التفصيلية، على مجموعة من مجموعات بيانات واسعة النطاق للجمهورية على نطاق واسع أن جوجاني يتفوق بشكل كبير على الأساليب الحديثة على حد سواء على جيل التسمية التوضيحية ومقاييس الكيانية المسمى.

أساليب أخذ العينات والتنسيق المستندة إلى الصلاحية

في التسمية التوضيحية للصورة، غالبا ما يتم توفير التسميات التوضيحية المتعددة كحقائق أرضية، لأن التسمية التوضيحية الصالحة ليست مصممة بشكل فريد.الأساليب التقليدية حدد بشكل عشوائي توضيحية واحدة وتعاملها على أنها صحيحة، ولكن كانت هناك عدد قليل من طرق التدريب الفعالة التي تستخدم عمليات توضيحية متعددة المعينة.في هذه الورقة، اقترحنا تقنية تدريبين لاتخاذ استخدام فعال للتسميات التوضيحية المرجعية المتعددة: 1) أخذ عينات التسمية التوضيحية المستندة إلى الصلاحية (VBCS)، والتي تعطي الأولوية لاستخدام التسميات التوضيحية التي تقدر أنها صالحة للغاية أثناء التدريب، و 2) التسمية التوضيحية المرجحتجانس (WCS)، والتي تنطبج فقط على الكلمات ذات الصلة التسمية التوضيحية المرجعية لتعكس التعويضات المرجعية المتعددة في وقت واحد.تظهر التجارب أن أساليبنا المقترحة تعمل على تحسين عصير التفاح بمقدار 2.6 نقطة وبليست بنسبة 0.9 نقطة من خط الأساس في مجموعة بيانات MSCOCO.

توليد توصيف نصي للصور

بناء نظام ذكي يقوم بالتعرف على الأصناف الموجودة في صورة وتوليد توصيف نصي لهذه الأغراض الموجودة في الصورة. استخدمنا الشبكات العصبونية الملتفة Convolutional Neural Networks للقيام بعملية استخلاص الأصناف الموجودة في الصورة، وأدخلنا هذه الأصناف إلى شبكة عصبونية تكرارية Recurrent Neural Network للقيام بعملية توليد التوصيف النصي.