تصنيف الصورة صفرية على نطاق واسع من الأوصاف النصية الغنية والمتنوعة

ندرس تأثير استخدام الأوصاف النصية الغنية والمتنوعة من الفصول الدراسية للتعلم الصفرية (ZSL) على ImageNet.نقوم بإنشاء مجموعة بيانات جديدة Imagenet-Wiki التي تتطابق مع كل فئة Imagenet إلى مقالها في ويكيبيديا المقابل.نظهر أن استخدام هذه المقالات في ويكيبيديا فقط كصامإصاف فئة يؤدي إلى ارتفاع أداء ZSL أعلى بكثير من الأعمال السابقة.حتى نموذج بسيط باستخدام هذا النوع من البيانات المساعدة تفوق النماذج الحديثة التي تعتمد على ميزات قياسية من Word تضمين ترميزات أسماء الفئة.تسليط الضوء على هذه النتائج فائدة وأهمية الأوصاف النصية ل ZSL، بالإضافة إلى الأهمية النسبية لنوع البيانات الإضافية مقارنة بالتقدم المحرز في الخوارزمية.تظهر نتائجنا التجريبية أيضا أن نهج التعلم المعيارية بالرصاص المعيارية تعميم بشكل سيء عبر فئات الطبقات.

We study the impact of using rich and diverse textual descriptions of classes for zero-shot learning (ZSL) on ImageNet. We create a new dataset ImageNet-Wiki that matches each ImageNet class to its corresponding Wikipedia article. We show that merely employing these Wikipedia articles as class descriptions yields much higher ZSL performance than prior works. Even a simple model using this type of auxiliary data outperforms state-of-the-art models that rely on standard features of word embedding encodings of class names. These results highlight the usefulness and importance of textual descriptions for ZSL, as well as the relative importance of auxiliary data type compared to the algorithmic progress. Our experimental results also show that standard zero-shot learning approaches generalize poorly across categories of classes.