الجيل التلقائي من الصورة الرمزية لغة الإشارة ثلاثية الأبعاد في AR نظارات تحتوي على أشرطة الفيديو 2D ل

في هذه الورقة نقدم التنفيذ النموذجي لخط أنابيب يسمح للجيل التلقائي باللغة الرمزية لغة الإشارة الألمانية من مادة فيديو ثنائية الأبعاد. يرافق العرض التقديمي شفرة المصدر. نقوم بتسجيل حركات تشكل الإنسان أثناء التوقيع مع نماذج رؤية الكمبيوتر. يتم استيراد الإحداثيات المشتركة للأيدي والذراعين كمعالم للسيطرة على الهيكل العظمي الخاص بي. من المعالم المستقلة تشريحية، نقوم بإنشاء هيكل عظمي آخر يعتمد على بنية العظام الهيكلية الرمزية في الصورة الرمزية لحساب بيانات دوران العظام. ثم يتم استخدام هذه البيانات للتحكم في الصورة الرمزية ثلاثية الأبعاد البشرية. يتم عرض الصورة الرمزية على نظارات AR ويمكن وضعها فعليا في الغرفة، بطريقة يمكن اعتبارها في وقت واحد على المتكلم اللفظي. في المزيد من العمل، يهدف إلى تعزيز مع التعرف على الكلام وأساليب ترجمة الآلات للخدمة كترجم بلغة علامة. لقد ثبت أن النموذج الأولي للأشخاص من المجتمع الصم والأشعة السمع لتقييم شؤومها. ظهرت مشاكل مع دورات اليد المنقولة، وكان من الصعب التعرف على إيماءات اليد على الصورة الرمزية بسبب التشوهات مثل شبكات الأصابع الملتوية.

In this paper we present a prototypical implementation of a pipeline that allows the automatic generation of a German Sign Language avatar from 2D video material. The presentation is accompanied by the source code. We record human pose movements during signing with computer vision models. The joint coordinates of hands and arms are imported as landmarks to control the skeleton of our avatar. From the anatomically independent landmarks, we create another skeleton based on the avatar's skeletal bone architecture to calculate the bone rotation data. This data is then used to control our human 3D avatar. The avatar is displayed on AR glasses and can be placed virtually in the room, in a way that it can be perceived simultaneously to the verbal speaker. In further work it is aimed to be enhanced with speech recognition and machine translation methods for serving as a sign language interpreter. The prototype has been shown to people of the deaf and hard-of-hearing community for assessing its comprehensibility. Problems emerged with the transferred hand rotations, hand gestures were hard to recognize on the avatar due to deformations like twisted finger meshes.