الترجمة الآلية تؤدي الترجمة الآلية من لغة طبيعية إلى أخرى. تكمن ترجمة الآلات العصبية بمهارة أحدث في الترجمة الآلية، لكنها تتطلب بيانات تدريبية كافية، وهي مشكلة شديدة لترجمة أزواج لغة الموارد المنخفضة. يتم تقديم مفهوم Multimodal في الترجمة الآلية العص
بية (NMT) عن طريق دمج الميزات النصية مع ميزات مرئية لتحسين ترجمة الزوج منخفض الموارد. WAT2021 (ورشة العمل حول الترجمة الآسيوية 2021) تنظم مهمة مشتركة من الترجمة متعددة الوسائط للإنجليزية إلى الهندية. لقد شاركنا نفس الشيء مع اسم الفريق CNLP-NITS-PP في طلبين: متعددة الوسائط والنصية فقط NMT. يحقق هذا العمل في حقن أزواج العبارة عن طريق نهج تكبير البيانات ويحمل تحسين عملنا السابق في Wat2020 في نفس المهمة في كل من NMT النصي فقط و Multimodal NMT. لقد حققنا المرتبة الثانية على مجموعة اختبار التحدي للغة الإنجليزية إلى الهندية الترجمة متعددة الوسائط حيث تقييم ثنائي اللغة من النتيجة 39.28، درجة التقييم البدياسية بديهية سهلة الاستخدام (RIBES) 0.792097، ومقاييس كفاية الطلاقة (AMFM) 0.830230 على التوالي وبعد
الترجمة الآلية العصبية (NMT) هي تكنولوجيا ترجمة آلية سائدة في الوقت الحاضر بسبب مرونةها التدريبية المتنقلة المحيرة.ومع ذلك، لا يزال NMT يكافح من أجل الترجمة بشكل صحيح في إعدادات الموارد المنخفضة خصيصا على أزواج اللغة البعيدة.طريقة واحدة للتغلب على ذل
ك هي استخدام المعلومات من طرائق أخرى إذا كانت متوفرة.الفكرة هي أنه على الرغم من الاختلافات في اللغات، فإن كل من المصدر والمتحدثين اللغوي المستهدف يرون نفس الشيء والتمثيل المرئي لكل من المصدر والهدف هو نفسه، والذي يمكن أن يساعد النظام بشكل إيجابي.يمكن أن تساعد المعلومات متعددة الوسائط نظام NMT لتحسين الترجمة عن طريق إزالة الغموض على بعض العبارات أو الكلمات.نحن نشارك في ورشة العمل الثامنة حول الترجمة الآسيوية (WAT - 2021) لمهمة الترجمة الإنجليزية العربية الهندية وتحقيق 42.47 و 37.50 نقطة بلو للتقييم والتحدي الفرعي، على التوالي.
