مستوى التعليم عبر مستوى الكيان يحسن الترجمة متعددة الوسائط

تهدف الترجمة متعددة الوسائط (MMT) إلى تحسين أداء الترجمة من خلال دمج المعلومات المرئية. معظم الدراسات الاستفادة من المعلومات المرئية من خلال دمج ميزات الصورة العالمية كمدخل إضافي أو فك تشفير من خلال حضور المناطق المحلية ذات الصلة في الصورة. ومع ذلك، فإن هذا النوع من استخدام المعلومات المرئية يجعل من الصعب معرفة كيفية تساعد طريقة المرئية ولماذا يعمل. مستوحاة من نتائج (الاقتباس) التي تعد الكيانات أكثر تفكيا في الصورة، نقترح نهجا للتعلم الصريح عبر مستوى الكيانات يهدف إلى زيادة تمثيل الكيان. على وجه التحديد، يتم تأطير النهج كهجوم لإعادة الإعمار الذي يعيد إدخال المدخلات النصية الأصلية من المدخلات متعددة الوسائط يتم استبدال الكيانات بالكيانات بالميزات المرئية. بعد ذلك، يتم استخدام إطار عمل متعدد المهام في الجمع بين مهمة الترجمة ومهمة إعادة الإعمار للاستفادة الكاملة من تعلم تمثيل الكيان عبر الوسائط. تثبت التجارب الواسعة أن نهجنا يمكن أن يحقق أداء قابلا للمقارنة أو أفضل من النماذج الحديثة. علاوة على ذلك، يوضح تحليلنا المتعمق كيفية تحسين المعلومات المرئية الترجمة.

مشاركة NLPHUT في WAT2021

توفر هذه الورقة وصف المهام المشتركة مع WAT 2021 من قبل فريق NLPHUT الخاص بنا ".لقد شاركنا في اللغة الإنجليزية → Hindi Multimodal مهمة الترجمة، الإنجليزية → مهمة ترجمة Malayalam Multimodal، ومهمة الترجمة متعددة اللغات.لقد استخدمنا طراز المحولات الحديثة مع علامات اللغة في إعدادات مختلفة لمهمة الترجمة واقترح نهج تواتر التسمية التوضيحية الخاص بالمنطقة الرواية باستخدام مزيج من صورة CNN و LSTM للحصول على تقسيم الصور الهندية والمالياالاميةوبعدقمم التقديم لدينا باللغة الإنجليزية → Malayalam مهمة ترجمة متعددة الوسائط (ترجمة نصية فقط، ومالياالام التسمية التوضيحية)، وتحتل المرتبة الثانية في اللغة الإنجليزية → Hindi Multimodal Tasony Task (ترجمة النص فقط، والتسمية التوضيحية الهندية).كما أجرت عمليات التقديمات لدينا بشكل جيد في مهام الترجمة متعددة اللغات.

IITP في WAT 2021: وصف النظام لمهمة الترجمة الإنجليزي الهندية متعددة الوسائط

الترجمة الآلية العصبية (NMT) هي تكنولوجيا ترجمة آلية سائدة في الوقت الحاضر بسبب مرونةها التدريبية المتنقلة المحيرة.ومع ذلك، لا يزال NMT يكافح من أجل الترجمة بشكل صحيح في إعدادات الموارد المنخفضة خصيصا على أزواج اللغة البعيدة.طريقة واحدة للتغلب على ذلك هي استخدام المعلومات من طرائق أخرى إذا كانت متوفرة.الفكرة هي أنه على الرغم من الاختلافات في اللغات، فإن كل من المصدر والمتحدثين اللغوي المستهدف يرون نفس الشيء والتمثيل المرئي لكل من المصدر والهدف هو نفسه، والذي يمكن أن يساعد النظام بشكل إيجابي.يمكن أن تساعد المعلومات متعددة الوسائط نظام NMT لتحسين الترجمة عن طريق إزالة الغموض على بعض العبارات أو الكلمات.نحن نشارك في ورشة العمل الثامنة حول الترجمة الآسيوية (WAT - 2021) لمهمة الترجمة الإنجليزية العربية الهندية وتحقيق 42.47 و 37.50 نقطة بلو للتقييم والتحدي الفرعي، على التوالي.