التأثيرات الثقافية والجغرافية على صورة ترجمة الكلمات عبر اللغات

لوحظت نماذج الترجمة الآلية العصبية (NMT) لإنتاج ترجمات سيئة عندما يكون هناك عدد قليل من الجمل / لا توجد جمل متوازية لتدريب النماذج. في حالة عدم وجود بيانات متوازية، تحولت عدة طرق إلى استخدام الصور لتعلم الترجمات. نظرا لأن صور الكلمات، على سبيل المثال، قد لا تتغير الحصان عبر اللغات، يمكن تحديد الترجمات عبر الصور المرتبطة بالكلمات بلغات مختلفة تحتوي على درجة عالية من التشابه البصري. ومع ذلك، تم عرض ترجمة عبر الصور تتحسن عند نماذج النص فقط بشكل هامشي. لفهم أفضل عندما تكون الصور مفيدة للترجمة، ندرس صورة ترجمتها للكلمات، والتي نحددها كترجمة الكلمات عبر الصور، من خلال قياس أوجه التشابه بين المعلومات بين التصنيفات للكلمات التي ترجمات من بعضها البعض. نجد أن صور الكلمات ليست دائما ثابتة عبر اللغات، وأن أزواج اللغة ذات الثقافة المشتركة، والتي تعني إما عائلة لغة مشتركة أو عرقية أو دين، قد تحسنت إمكانية تحسن الصور (أي صور مشابهة للكلمات المماثلة) يحادثون، بغض النظر عن قربهم الجغرافي. بالإضافة إلى ذلك، تمشيا مع الأعمال السابقة التي تظهر الصور تساعد المزيد في ترجمة الكلمات الملموسة، وجدنا أن الكلمات الملموسة قد تحسنت إمكانية الحصول على صورة حسب الاقتضاء.

Neural Machine Translation (NMT) models have been observed to produce poor translations when there are few/no parallel sentences to train the models. In the absence of parallel data, several approaches have turned to the use of images to learn translations. Since images of words, e.g., horse may be unchanged across languages, translations can be identified via images associated with words in different languages that have a high degree of visual similarity. However, translating via images has been shown to improve upon text-only models only marginally. To better understand when images are useful for translation, we study image translatability of words, which we define as the translatability of words via images, by measuring intra- and inter-cluster similarities of image representations of words that are translations of each other. We find that images of words are not always invariant across languages, and that language pairs with shared culture, meaning having either a common language family, ethnicity or religion, have improved image translatability (i.e., have more similar images for similar words) compared to its converse, regardless of their geographic proximity. In addition, in line with previous works that show images help more in translating concrete words, we found that concrete words have improved image translatability compared to abstract ones.