لوحظت نماذج الترجمة الآلية العصبية (NMT) لإنتاج ترجمات سيئة عندما يكون هناك عدد قليل من الجمل / لا توجد جمل متوازية لتدريب النماذج. في حالة عدم وجود بيانات متوازية، تحولت عدة طرق إلى استخدام الصور لتعلم الترجمات. نظرا لأن صور الكلمات، على سبيل المثال
، قد لا تتغير الحصان عبر اللغات، يمكن تحديد الترجمات عبر الصور المرتبطة بالكلمات بلغات مختلفة تحتوي على درجة عالية من التشابه البصري. ومع ذلك، تم عرض ترجمة عبر الصور تتحسن عند نماذج النص فقط بشكل هامشي. لفهم أفضل عندما تكون الصور مفيدة للترجمة، ندرس صورة ترجمتها للكلمات، والتي نحددها كترجمة الكلمات عبر الصور، من خلال قياس أوجه التشابه بين المعلومات بين التصنيفات للكلمات التي ترجمات من بعضها البعض. نجد أن صور الكلمات ليست دائما ثابتة عبر اللغات، وأن أزواج اللغة ذات الثقافة المشتركة، والتي تعني إما عائلة لغة مشتركة أو عرقية أو دين، قد تحسنت إمكانية تحسن الصور (أي صور مشابهة للكلمات المماثلة) يحادثون، بغض النظر عن قربهم الجغرافي. بالإضافة إلى ذلك، تمشيا مع الأعمال السابقة التي تظهر الصور تساعد المزيد في ترجمة الكلمات الملموسة، وجدنا أن الكلمات الملموسة قد تحسنت إمكانية الحصول على صورة حسب الاقتضاء.
