EMISSOR: منصة لالتقاط التفاعلات متعددة الوسائط كذكريات وتفسيرات بيئية مع مراجع Ontological قائمة على السيناريو

نقدم انبعاثات: منصة لالتقاط التفاعلات متعددة الوسائط كتسجيلات تجارب عرضية مع تفسيرات مرجعية واضحة والتي تسفر عن رسم بياني للمعرفة العرضي (EKG). تقوم المنصة بتخزين تدفقات طرائق متعددة كإشارات متوازية. يتم تجزئة كل إشارة ومشروحة بشكل مستقل مع التفسير. يتم تعيين التعليقات التوضيحية في نهاية المطاف للهيوانات الصريحة والعلاقات في EKG. وبينما نحن شرائح إشارة الأرض من طرائق مختلفة إلى نفس تمثيلات الحالة، فإننا نرتفي أيضا طرائق مختلفة في بعضها البعض. فريد من نوعه ل EKG لدينا هو أنه يقبل تفسيرات مختلفة عبر الطرائق والمصادر والخبرات ودعم المنطق بشأن المعلومات المتعارضة وعدم اليقين التي قد تنجم عن تجارب متعددة الوسائط. يمكن أن يسجل EMISSOR والتعليق التجارب في العالم الافتراضي والعال الحقيقي، والجمع بين البيانات، وتقييم سلوك النظام وأدائها لتحقيق الأهداف المحددة مسبقا ولكن أيضا نموذج تراكم المعرفة والتفسيرات في الرسم البياني المعرفي نتيجة لهذه التجارب الباقية.

We present EMISSOR: a platform to capture multimodal interactions as recordings of episodic experiences with explicit referential interpretations that also yield an episodic Knowledge Graph (eKG). The platform stores streams of multiple modalities as parallel signals. Each signal is segmented and annotated independently with interpretation. Annotations are eventually mapped to explicit identities and relations in the eKG. As we ground signal segments from different modalities to the same instance representations, we also ground different modalities across each other. Unique to our eKG is that it accepts different interpretations across modalities, sources and experiences and supports reasoning over conflicting information and uncertainties that may result from multimodal experiences. EMISSOR can record and annotate experiments in virtual and real-world, combine data, evaluate system behavior and their performance for preset goals but also model the accumulation of knowledge and interpretations in the Knowledge Graph as a result of these episodic experiences.