تدريس ذراع وإيماءات الرأس إلى روبوت بشري من خلال مظاهرة تفاعلية وتعليمات منطوقة

وصفنا العمل بالتقدم المحرز في تدريب روبوت بشري لإنتاج ذراع أيقونة وإيماءات الرأس كجزء من تفاعل الحوار الموجه نحو المهام.ينطوي ذلك على تطوير واستخدام مدير حوار متعدد الوسائط لغير الخبراء في البرنامج بسرعة "الروبوت من خلال الكلام والرؤية.باستخدام مدير الحوار هذا، يتم جمع مقاطع الفيديو من مظاهرات الإيماءات.يتم استخراج مراكز السيارات من مقاطع الفيديو هذه لتحديد مسارات السيارات حيث تستخدم مجموعات من مسارات السيارات لإنتاج إيماءات الروبوت بعد نهج مخاليط غاوسي.تعتبر المناقشة الختامية كيف يمكن استخدام التمثيلات المستفادة لإيماءة الإيماءات من قبل الروبوت، وكيف قد ينضج الإطار في نظام لمعالجة التأسيس اللغوي والتمثيل الدلالي.

We describe work in progress for training a humanoid robot to produce iconic arm and head gestures as part of task-oriented dialogue interaction. This involves the development and use of a multimodal dialog manager for non-experts to quickly program' the robot through speech and vision. Using this dialog manager, videos of gesture demonstrations are collected. Motor positions are extracted from these videos to specify motor trajectories where collections of motor trajectories are used to produce robot gestures following a Gaussian mixtures approach. Concluding discussion considers how learned representations may be used for gesture recognition by the robot, and how the framework may mature into a system to address language grounding and semantic representation.