الصورة متعددة اللغات Corpus: بروتوكول التعليق

في هذه الورقة، نقدم العمل في التقدم الذي يهدف إلى تطوير مجموعة بيانات جديدة للصورة مع كائنات مشروح. تتكون Corpus Image متعددة اللغات من طبولوجيا الكائنات المرئية (بناء على WordNet) ومجموعة من الصور ذات الصلة بشكل موضوعي المشروح مع أقنعة تجزئة وفئات الكائنات. حددنا 277 فصولا مهيمنة و 1،037 فصالا من الوالدين والسماء، وتجميعها إلى 10 مجالات مواضيعية مثل الرياضة والطب والتعليم والغذاء والأمن، وما إلى ذلك بالنسبة للفصول المختارة يتم إجراء بحث على شبكة الإنترنت واسعة النطاق من أجل ترجمة مجموعة كبيرة من الصور ذات حقوق الطبع والنشر عالية الجودة. إن تركيز الورق هو بروتوكول التوضيح الذي أنشأناه لتسهيل عملية التوضيحية: ontology للأشياء المرئية والاتفاقيات للاطلاع على الصورة وتجزئة الكائنات. تم تصميم DataSet لكل من تصنيف الصور والكشف عن الكائن والتجزئة الدلالي. بالإضافة إلى ذلك، سيتم تزويد التعليقات التوضيحية للكائن بأوصاف متعددة اللغات باستخدام Wordnets المتاحة بحرية.

In this paper, we present work in progress aimed at the development of a new image dataset with annotated objects. The Multilingual Image Corpus consists of an ontology of visual objects (based on WordNet) and a collection of thematically related images annotated with segmentation masks and object classes. We identified 277 dominant classes and 1,037 parent and attribute classes, and grouped them into 10 thematic domains such as sport, medicine, education, food, security, etc. For the selected classes a large-scale web image search is being conducted in order to compile a substantial collection of high-quality copyright free images. The focus of the paper is the annotation protocol which we established to facilitate the annotation process: the Ontology of visual objects and the conventions for image selection and for object segmentation. The dataset is designed both for image classification and object detection and for semantic segmentation. In addition, the object annotations will be supplied with multilingual descriptions by using freely available wordnets.