الكونية: متري تدوين التماسك من أوصاف الصورة

تعتمد مطورو نماذج جيل النص على مقاييس التقييم الآلي كمستقلة للتقييمات اليدوية البطيئة والمكلفة. ومع ذلك، كافحت مقاييس تقسيم الصور لإعطاء تقديرات مستفادة دقيقة للنجاح الدلالي والبراغماتي لنص الإخراج. نحن نتطلع إلى هذا الضعف عن طريق إدخال أول متري تعلم القيادة المستفادة لتقييم أوصاف الصورة. نهجنا مستوحى من النظريات الحاسوبية للتخلص من أهداف المعلومات باستخدام الاتساق. نقدم مجموعة بيانات من الصورة - وصف أزواج المشروح مع علاقات الاتساق. ثم قمنا بتدريب مقياس عمل متماسك على مجموعة فرعية من مجموعة بيانات التسميات المفاهيمية وقياس فعاليتها --- قدرتها على التنبؤ بالتصنيفات البشرية للتسميات التوضيحية الإنتاجية --- في مجموعة اختبار تتكون من صور خارج المجال. نوضح معامل ارتباط كيندل كيندل كيندل لتقسيطنا المقترح مع الأحكام الإنسانية لنتائج عدد من نماذج تواتير التسمية التوضيحية لمواصلة التماسك الواحد عند مقارنتها بالعديد من المقاييس الأخرى بما في ذلك المقاييس المستفادة المقترحة مؤخرا مثل bleurt و bertscore.

Developers of text generation models rely on automated evaluation metrics as a stand-in for slow and expensive manual evaluations. However, image captioning metrics have struggled to give accurate learned estimates of the semantic and pragmatic success of output text. We address this weakness by introducing the first discourse-aware learned generation metric for evaluating image descriptions. Our approach is inspired by computational theories of discourse for capturing information goals using coherence. We present a dataset of image--description pairs annotated with coherence relations. We then train a coherence-aware metric on a subset of the Conceptual Captions dataset and measure its effectiveness---its ability to predict human ratings of output captions---on a test set composed of out-of-domain images. We demonstrate a higher Kendall Correlation Coefficient for our proposed metric with the human judgments for the results of a number of state-of-the-art coherence-aware caption generation models when compared to several other metrics including recently proposed learned metrics such as BLEURT and BERTScore.