باستخدام رؤية الكمبيوتر لتحليل العلامات غير اليدوية للأسئلة في KRSL

تقدم هذه الورقة دراسة تقارن علامات غير دليلية للأسئلة القطبية والقطرية إلى البيانات في لغة الإشارة الكازاخستانية الروسية (KRSL) في مجموعة بيانات تم جمعها لمهام NLP.يتمثل التركيز الأساسي في الدراسة في إظهار فائدة حلول رؤية الكمبيوتر للتحليل اللغوي لغير الأدلة في سجلات الإشارة، على الرغم من أن التصحيحات الإضافية مطلوبة لحساب التحيزات في الإخراج.تحقيقا لهذه الغاية، قامنا بتحليل تسجيلات 10 ثلاث مرات من الجمل التي تنتجها 9 موقع أصلي باستخدام كل من حلول التوضيحية اليدوية ورؤية الكمبيوتر (مثل Openface).نحن نستخدم وتحسين حل رؤية الكمبيوتر، وصف بإيجاز نتائج التحليل اللغوي.

This paper presents a study that compares non-manual markers of polar and wh-questions to statements in Kazakh-Russian Sign Language (KRSL) in a dataset collected for NLP tasks. The primary focus of the study is to demonstrate the utility of computer vision solutions for the linguistic analysis of non-manuals in sign languages, although additional corrections are required to account for biases in the output. To this end, we analyzed recordings of 10 triplets of sentences produced by 9 native signers using both manual annotation and computer vision solutions (such as OpenFace). We utilize and improve the computer vision solution, and briefly describe the results of the linguistic analysis.