نظام TMEKU لمهمة الترجمة متعددة الوسائط WAT2021

نقدم نظام TMEKU الخاص بنا المقدم إلى مهمة الترجمة متعددة الوسائط الإنجليزية اليابانية ل WAT 2021. شاركنا في مهمة Flickr30Kent-JP ومهمة MSCOCO MSCOCO MSCOCON تحت الحالة المقيدة باستخدام مجموعات البيانات المقدمة رسميا.توظف نظامنا المقترح محاذاة ناعمة من Word-Region للترجمة الآلية العصبية متعددة الوسائط (MNMT).تظهر النتائج التجريبية التي تم تقييمها على متري بلو المقدمة من موقع تقييم WAT 2021 أن نظام TMEKU حقق أفضل أداء بين جميع الأنظمة المشاركة.يوضح تحليل آخر دراسة الحالة أن الاستفادة من محاذاة منطقة الكلمات بين الطرائق النصية والمرئية هي مفتاح تعزيز الأداء في نظام TMEKU الخاص بنا، مما يؤدي إلى استخدام معلومات مرئية أفضل.

We introduce our TMEKU system submitted to the English-Japanese Multimodal Translation Task for WAT 2021. We participated in the Flickr30kEnt-JP task and Ambiguous MSCOCO Multimodal task under the constrained condition using only the officially provided datasets. Our proposed system employs soft alignment of word-region for multimodal neural machine translation (MNMT). The experimental results evaluated on the BLEU metric provided by the WAT 2021 evaluation site show that the TMEKU system has achieved the best performance among all the participated systems. Further analysis of the case study demonstrates that leveraging word-region alignment between the textual and visual modalities is the key to performance enhancement in our TMEKU system, which leads to better visual information use.