ما هو multimodality؟

أظهرت السنوات الأخيرة تطورات سريعة في مجال تعلم الجهاز متعدد الوسائط، والجمع بين الأمراء على سبيل المثال، الرؤية والنصوص أو الكلام.في هذه الورقة الموضع، نوضح كيف يستخدم الحقل التعريفات القديمة متعددة الوسائط التي تثبت عصر التعلم الآلي.نقترح تعريف مهمة جديدة للعمليات النسبية (متعددة) في سياق تعلم الآلة متعددة الوسائط التي تركز على التمثيلات والمعلومات ذات الصلة بمهمة تعليمية آلات معينة.من خلال تعريفنا الجديد لعدة التعددية، نهدف إلى تقديم مؤسسة مفقودة لأبحاث متعددة الوسائط، وهو عنصر مهم من التأريض اللغوي ومعالم حاسمة تجاه NLU.

The last years have shown rapid developments in the field of multimodal machine learning, combining e.g., vision, text or speech. In this position paper we explain how the field uses outdated definitions of multimodality that prove unfit for the machine learning era. We propose a new task-relative definition of (multi)modality in the context of multimodal machine learning that focuses on representations and information that are relevant for a given machine learning task. With our new definition of multimodality we aim to provide a missing foundation for multimodal research, an important component of language grounding and a crucial milestone towards NLU.