قائمة المراجعة القائمة على الكلام التلقائي للمحاكاة الطبية

توفر المحاكاة الطبية بيئة تسيطر عليها لتدريب وتقييم المهارات السريرية. ومع ذلك، كمنصة تقييم، فإنه يتطلب وجود فاحص من ذوي الخبرة لتوفير ملاحظات الأداء، والتي تشمل عادة باستخدام قائمة مرجعية محددة المهام. هذا يجعل عملية التقييم غير فعالة ومكلفة. علاوة على ذلك، فإن طريقة التقييم هذه لا توفر الممارسين الطبيين الفرصة للتدريب المستقل. من الناحية المثالية، يجب إجراء عملية ملء قائمة التحقق بواسطة نظام موضوعي تدرك كامل، قادر على الاعتراف بمراقبة الأداء السريرية ومراقبتها. تحقيقا لهذه الغاية، قمنا بتطوير نظام مرجعي تلقائي بالكامل ونظام مرئي تلقائي بالكامل، قادر على تحديد تصرفات سكان التخدير بشكل موضوعي وتحقيق صحة في بيئة محاكاة. بناء على النتائج التي تم تحليلها، يكون نظامنا قادرا على الاعتراف بمعظم المهام في قائمة المراجعة: درجة F1 من 0.77 لجميع المهام، ونتيجة F1 من 0.79 للمهام اللفظية. تطوير نظام يستند إلى تحسين تجربة مجموعة واسعة من منصات المحاكاة. علاوة على ذلك، في المستقبل، يجوز تنفيذ هذا النهج في غرفة التشغيل وغرفة الطوارئ. هذا يمكن أن يسهل تطوير التقنيات المساعدة التلقائية لهذه المجالات.

Medical simulators provide a controlled environment for training and assessing clinical skills. However, as an assessment platform, it requires the presence of an experienced examiner to provide performance feedback, commonly preformed using a task specific checklist. This makes the assessment process inefficient and expensive. Furthermore, this evaluation method does not provide medical practitioners the opportunity for independent training. Ideally, the process of filling the checklist should be done by a fully-aware objective system, capable of recognizing and monitoring the clinical performance. To this end, we have developed an autonomous and a fully automatic speech-based checklist system, capable of objectively identifying and validating anesthesia residents' actions in a simulation environment. Based on the analyzed results, our system is capable of recognizing most of the tasks in the checklist: F1 score of 0.77 for all of the tasks, and F1 score of 0.79 for the verbal tasks. Developing an audio-based system will improve the experience of a wide range of simulation platforms. Furthermore, in the future, this approach may be implemented in the operation room and emergency room. This could facilitate the development of automatic assistive technologies for these domains.