نحو استرجاع الصورة النصية متعددة الوسائط لتحسين القراءة البشرية

في المدارس الابتدائية، تستخدم كتب الأطفال، وكذلك في تطبيقات تعلم اللغة الحديثة، واستراتيجيات تعليمية متعددة الوسائط مثل الرسوم التوضيحية للمصطلحات والعبارات لدعم فهم القراءة.أيضا، تشير العديد من الدراسات في علم النفس التعليمي إلى أن دمج المعلومات العابطة العابرة ستحسن من فهم القراءة.نحن ندعي أن محولات الحالة متعددة الوسائط، والتي يمكن استخدامها في سياق متعلم لغوي لتحسين القراءة البشرية، ستؤدي بشكل سيئ بسبب البيانات النصية القصيرة والبسيطة نسبيا والتي يتم تدريب تلك النماذج معها.لإثبات فرضياتنا، جمعنا مجموعة بيانات جديدة متعددة الوسائط على أساس البيانات من Wikipedia.في تحليل بيانات متعمقة، نسلط الضوء على الاختلافات بين مجموعة البيانات الخاصة بنا ومجموعات البيانات الشائعة الأخرى.بالإضافة إلى ذلك، نقوم بتقييم العديد من المحولات متعددة الوسائط متعددة الأحوال على استرجاع الصور النصية على مجموعة بياناتنا وتحليل نتائجها الضئيلة، والتي تحقق من مطالباتنا.

In primary school, children's books, as well as in modern language learning apps, multi-modal learning strategies like illustrations of terms and phrases are used to support reading comprehension. Also, several studies in educational psychology suggest that integrating cross-modal information will improve reading comprehension. We claim that state-of- he-art multi-modal transformers, which could be used in a language learner context to improve human reading, will perform poorly because of the short and relatively simple textual data those models are trained with. To prove our hypotheses, we collected a new multi-modal image-retrieval dataset based on data from Wikipedia. In an in-depth data analysis, we highlight the differences between our dataset and other popular datasets. Additionally, we evaluate several state-of-the-art multi-modal transformers on text-image retrieval on our dataset and analyze their meager results, which verify our claims.