تهدف الترجمة متعددة الوسائط (MMT) إلى تحسين أداء الترجمة من خلال دمج المعلومات المرئية. معظم الدراسات الاستفادة من المعلومات المرئية من خلال دمج ميزات الصورة العالمية كمدخل إضافي أو فك تشفير من خلال حضور المناطق المحلية ذات الصلة في الصورة. ومع ذلك،
فإن هذا النوع من استخدام المعلومات المرئية يجعل من الصعب معرفة كيفية تساعد طريقة المرئية ولماذا يعمل. مستوحاة من نتائج (الاقتباس) التي تعد الكيانات أكثر تفكيا في الصورة، نقترح نهجا للتعلم الصريح عبر مستوى الكيانات يهدف إلى زيادة تمثيل الكيان. على وجه التحديد، يتم تأطير النهج كهجوم لإعادة الإعمار الذي يعيد إدخال المدخلات النصية الأصلية من المدخلات متعددة الوسائط يتم استبدال الكيانات بالكيانات بالميزات المرئية. بعد ذلك، يتم استخدام إطار عمل متعدد المهام في الجمع بين مهمة الترجمة ومهمة إعادة الإعمار للاستفادة الكاملة من تعلم تمثيل الكيان عبر الوسائط. تثبت التجارب الواسعة أن نهجنا يمكن أن يحقق أداء قابلا للمقارنة أو أفضل من النماذج الحديثة. علاوة على ذلك، يوضح تحليلنا المتعمق كيفية تحسين المعلومات المرئية الترجمة.
الترجمة الآلية العصبية متعددة الوسائط (MNMT) هي مهمة مثيرة للاهتمام في معالجة اللغة الطبيعية (NLP) حيث نستخدم طرائق مرئية إلى جانب جملة مصدر لمساعدة المصدر لعملية الترجمة المستهدفة.في الآونة الأخيرة، كان هناك الكثير من الأعمال في أطر MNMT لتعزيز أداء
مهام الترجمة ذات الجهاز المستقل.حاولت معظم الأعمال السابقة في MNMT إجراء الترجمة بين لغتان معروفتين على نطاق واسع (على سبيل المثال English-to-German، الإنجليزية إلى الفرنسية).في هذه الورقة، نستكشف فعالية أساليب MNMT المختلفة، والتي تستخدم تقنيات مختلفة الموجهة نحو البيانات بما في ذلك التدريب المسبق متعدد الوسائط، لغات موارد منخفضة.على الرغم من أن الأساليب الحالية تعمل بشكل جيد على لغات الموارد العالية، إلا أن قابلية استخدام تلك الأساليب على لغات الموارد المنخفضة غير معروفة.في هذه الورقة، نقيم الطرق الحالية على الهندية والإبلاغ عن نتائجنا.
ترجمة آلة متعددة الوسائط (MMT) تثري النص المصدر بمعلومات مرئية للترجمة.لقد اكتسبت شعبية في السنوات الأخيرة، وقد اقترح العديد من خطوط الأنابيب في نفس الاتجاه.ومع ذلك، تفتقر المهمة إلى مجموعات بيانات الجودة لتوضيح مساهمة الوسيلة البصرية في أنظمة الترجم
ة.في هذه الورقة، نقترح نظامنا تحت اسم الفريق فولتا لمهمة الترجمة متعددة الوسائط في WAT 2021 من الإنجليزية إلى الهندية.نشارك أيضا في التراكب الفرعي النصي فقط لنفس زوج اللغة التي نستخدمها MBART، وهي نموذج تسلسل متعدد اللغات مسبقا.بالنسبة للترجمة متعددة الوسائط، نقترح تعزيز المدخلات النصية من خلال إحضار المعلومات المرئية إلى مجال نصي عن طريق استخراج علامات الكائنات من الصورة.نستكشف أيضا متانة نظامنا عن طريق مهينة النص المصدر بشكل منهجي.أخيرا، نحقق درجة بلو من 44.6 و 51.6 في مجموعة الاختبار ومجموعة التحدي بمهمة متعددة الوسائط.
