نحو منهجية تدعم التعليق الشرعي شبه التلقائي للمدارات في المحادثات المسجلة بالفيديو

نقدم طريقة لدعم شرح حركات الرأس في المحادثات المسجلة بالفيديو.يتم استخدام شرائح حركة الرأس من البيانات المشروحة متعددة الوسائط لتدريب نموذج للكشف عن حركات الرأس في البيانات غير المرئية.يتم تحميل تسلسل الحركة المتوقعة الناتجة إلى أداة السندان لتحرير ما بعد التوضيح.يتم مقارنة حركات الرأس المحددة تلقائيا والشروح الأصلية بتقييم التداخل بين الاثنين.وأظهر هذا التحليل أن Onsets الحركة تم اكتشافه بسهولة أكبر من الإزاحة، وأشارت إلى عدد من الأنماط في عدم التطابق بين التعليقات التوضيحية الأصلية والتنبؤات النموذجية التي يمكن التعامل معها بعبارات عامة في إرشادات ما بعد التوضيحية.

We present a method to support the annotation of head movements in video-recorded conversations. Head movement segments from annotated multimodal data are used to train a model to detect head movements in unseen data. The resulting predicted movement sequences are uploaded to the ANVIL tool for post-annotation editing. The automatically identified head movements and the original annotations are compared to assess the overlap between the two. This analysis showed that movement onsets were more easily detected than offsets, and pointed at a number of patterns in the mismatches between original annotations and model predictions that could be dealt with in general terms in post-annotation guidelines.