الوكلاء المتعددون المجسدون لسد الفهم الفهم

في هذه الورقة، نقول أننا نجس وكلاء متعدد الوسائط، أي تجسد الآلهة، يمكن أن يلعبون دورا مهما في تحريك معالجة اللغة الطبيعية نحو فهم عميق. "العوامل التفاعلية المميزة بالكامل، تصادف النموذج بين شخصين"، لكن وكيل لغة فقطلديه القليل من الوعي البيئي والطبيعة.يجلب الوكلاء المتعددون فرصا جديدة لتفسير الصور والمعلومات الإضافية والإيماءات، وما إلى ذلك، والتي هي المزيد من المحاور التي تواصلها.نقترح أن يقوم الوكلاء المتعددون، من خلال تسهيل شكل من أشكال التفاعل بين الحاسوب البشري، بنية إضافية يمكن استخدامها لتدريب النماذج التي تنقل أنظمة NLP أقرب إلى فهم حقيقي "" للغة المؤطرة، ونناقش الدراسات المستمرة باستخدام الأنظمة الحالية.

In this paper we argue that embodied multimodal agents, i.e., avatars, can play an important role in moving natural language processing toward deep understanding.'' Fully-featured interactive agents, model encounters between two people,'' but a language-only agent has little environmental and situational awareness. Multimodal agents bring new opportunities for interpreting visuals, locational information, gestures, etc., which are more axes along which to communicate. We propose that multimodal agents, by facilitating an embodied form of human-computer interaction, provide additional structure that can be used to train models that move NLP systems closer to genuine understanding'' of grounded language, and we discuss ongoing studies using existing systems.