توضيحات متعددة منمق متعدد اللغات متعددة الوسائط الترجمة العصبية

تعاني ترجمة الآلات العصبية التي تعتمد على نص ثنائي اللغة مع بيانات تدريبية محدودة من التنوع المعجمي، والتي تقلل من دقة ترجمة الكلمات النادرة وتقلص من تعميم نظام الترجمة.في هذا العمل، نستخدم التسميات التوضيحية المتعددة من مجموعة بيانات متعددة 30 ألفا لزيادة التنوع المعجمي بمساعدة النقل عبر اللغات للمعلومات بين اللغات في إعداد متعدد اللغات.في هذا الإعداد المتعدد اللغات والعددية، فإن إدراج الميزات المرئية يعزز جودة الترجمة بهامش كبير.تؤكد الدراسة التجريبية أن نهجنا متعدد الوسائط المقترح يحقق مكسبا كبيرا من حيث النتيجة التلقائية ويظهر متانة في التعامل مع ترجمة الكلمات النادرة بذريعة مهام الترجمة الهندية والتيلجو.

Neural machine translation based on bilingual text with limited training data suffers from lexical diversity, which lowers the rare word translation accuracy and reduces the generalizability of the translation system. In this work, we utilise the multiple captions from the Multi-30K dataset to increase the lexical diversity aided with the cross-lingual transfer of information among the languages in a multilingual setup. In this multilingual and multimodal setting, the inclusion of the visual features boosts the translation quality by a significant margin. Empirical study affirms that our proposed multimodal approach achieves substantial gain in terms of the automatic score and shows robustness in handling the rare word translation in the pretext of English to/from Hindi and Telugu translation tasks.