أساليب أخذ العينات والتنسيق المستندة إلى الصلاحية

في التسمية التوضيحية للصورة، غالبا ما يتم توفير التسميات التوضيحية المتعددة كحقائق أرضية، لأن التسمية التوضيحية الصالحة ليست مصممة بشكل فريد.الأساليب التقليدية حدد بشكل عشوائي توضيحية واحدة وتعاملها على أنها صحيحة، ولكن كانت هناك عدد قليل من طرق التدريب الفعالة التي تستخدم عمليات توضيحية متعددة المعينة.في هذه الورقة، اقترحنا تقنية تدريبين لاتخاذ استخدام فعال للتسميات التوضيحية المرجعية المتعددة: 1) أخذ عينات التسمية التوضيحية المستندة إلى الصلاحية (VBCS)، والتي تعطي الأولوية لاستخدام التسميات التوضيحية التي تقدر أنها صالحة للغاية أثناء التدريب، و 2) التسمية التوضيحية المرجحتجانس (WCS)، والتي تنطبج فقط على الكلمات ذات الصلة التسمية التوضيحية المرجعية لتعكس التعويضات المرجعية المتعددة في وقت واحد.تظهر التجارب أن أساليبنا المقترحة تعمل على تحسين عصير التفاح بمقدار 2.6 نقطة وبليست بنسبة 0.9 نقطة من خط الأساس في مجموعة بيانات MSCOCO.

In image captioning, multiple captions are often provided as ground truths, since a valid caption is not always uniquely determined. Conventional methods randomly select a single caption and treat it as correct, but there have been few effective training methods that utilize multiple given captions. In this paper, we proposed two training technique for making effective use of multiple reference captions: 1) validity-based caption sampling (VBCS), which prioritizes the use of captions that are estimated to be highly valid during training, and 2) weighted caption smoothing (WCS), which applies smoothing only to the relevant words the reference caption to reflect multiple reference captions simultaneously. Experiments show that our proposed methods improve CIDEr by 2.6 points and BLEU4 by 0.9 points from baseline on the MSCOCO dataset.