تجارب تكييف تقنيات الترجمة المتعددة الوسائط للهيكلية

الترجمة الآلية العصبية متعددة الوسائط (MNMT) هي مهمة مثيرة للاهتمام في معالجة اللغة الطبيعية (NLP) حيث نستخدم طرائق مرئية إلى جانب جملة مصدر لمساعدة المصدر لعملية الترجمة المستهدفة.في الآونة الأخيرة، كان هناك الكثير من الأعمال في أطر MNMT لتعزيز أداء مهام الترجمة ذات الجهاز المستقل.حاولت معظم الأعمال السابقة في MNMT إجراء الترجمة بين لغتان معروفتين على نطاق واسع (على سبيل المثال English-to-German، الإنجليزية إلى الفرنسية).في هذه الورقة، نستكشف فعالية أساليب MNMT المختلفة، والتي تستخدم تقنيات مختلفة الموجهة نحو البيانات بما في ذلك التدريب المسبق متعدد الوسائط، لغات موارد منخفضة.على الرغم من أن الأساليب الحالية تعمل بشكل جيد على لغات الموارد العالية، إلا أن قابلية استخدام تلك الأساليب على لغات الموارد المنخفضة غير معروفة.في هذه الورقة، نقيم الطرق الحالية على الهندية والإبلاغ عن نتائجنا.

ما هو multimodality؟

أظهرت السنوات الأخيرة تطورات سريعة في مجال تعلم الجهاز متعدد الوسائط، والجمع بين الأمراء على سبيل المثال، الرؤية والنصوص أو الكلام.في هذه الورقة الموضع، نوضح كيف يستخدم الحقل التعريفات القديمة متعددة الوسائط التي تثبت عصر التعلم الآلي.نقترح تعريف مهمة جديدة للعمليات النسبية (متعددة) في سياق تعلم الآلة متعددة الوسائط التي تركز على التمثيلات والمعلومات ذات الصلة بمهمة تعليمية آلات معينة.من خلال تعريفنا الجديد لعدة التعددية، نهدف إلى تقديم مؤسسة مفقودة لأبحاث متعددة الوسائط، وهو عنصر مهم من التأريض اللغوي ومعالم حاسمة تجاه NLU.