تجارب تكييف تقنيات الترجمة المتعددة الوسائط للهيكلية

الترجمة الآلية العصبية متعددة الوسائط (MNMT) هي مهمة مثيرة للاهتمام في معالجة اللغة الطبيعية (NLP) حيث نستخدم طرائق مرئية إلى جانب جملة مصدر لمساعدة المصدر لعملية الترجمة المستهدفة.في الآونة الأخيرة، كان هناك الكثير من الأعمال في أطر MNMT لتعزيز أداء مهام الترجمة ذات الجهاز المستقل.حاولت معظم الأعمال السابقة في MNMT إجراء الترجمة بين لغتان معروفتين على نطاق واسع (على سبيل المثال English-to-German، الإنجليزية إلى الفرنسية).في هذه الورقة، نستكشف فعالية أساليب MNMT المختلفة، والتي تستخدم تقنيات مختلفة الموجهة نحو البيانات بما في ذلك التدريب المسبق متعدد الوسائط، لغات موارد منخفضة.على الرغم من أن الأساليب الحالية تعمل بشكل جيد على لغات الموارد العالية، إلا أن قابلية استخدام تلك الأساليب على لغات الموارد المنخفضة غير معروفة.في هذه الورقة، نقيم الطرق الحالية على الهندية والإبلاغ عن نتائجنا.

Multimodal Neural Machine Translation (MNMT) is an interesting task in natural language processing (NLP) where we use visual modalities along with a source sentence to aid the source to target translation process. Recently, there has been a lot of works in MNMT frameworks to boost the performance of standalone Machine Translation tasks. Most of the prior works in MNMT tried to perform translation between two widely known languages (e.g. English-to-German, English-to-French ). In this paper, We explore the effectiveness of different state-of-the-art MNMT methods, which use various data oriented techniques including multimodal pre-training, for low resource languages. Although the existing methods works well on high resource languages, usability of those methods on low-resource languages is unknown. In this paper, we evaluate the existing methods on Hindi and report our findings.