اكتشاف تأكيد في الملاحظات السريرية: نماذج اللغة الطبية لإنقاذ؟

من أجل توفير الرعاية عالية الجودة، يجب على المهنيين الصحيين تحديد الوجود أو احتمال أو عدم وجود الأعراض والعلاجات وغيرها من الكيانات ذات الصلة في الملاحظات السريرية النصية.هذه هي مهمة اكتشاف التأكيد - لتحديد فئة التأكيد (الحاضر، ممكن، غائبة) من كيان بناء على إشارات نصية في النص غير المنظم.نقيم نماذج اللغة الطبية الحديثة في المهمة وإظهار أنها تتفوق على الأساس في جميع الفئات الثلاثة.نظرا لأن قابلية النقل مهمة بشكل خاص في المجال الطبي، فإننا ندرس كيفية تصرف أفضل نموذج أداء على البيانات غير المرئية من مجموعات بيانات طبية أخرى.لهذا الغرض، نقدم مجموعة مشروحة حديثا من 5000 تأكيد لمجموعة بيانات MIMIC-III المتاحة للجمهور.نستنتج مع تحليل خطأ يكشف المواقف التي لا تزال النماذج خاطئة ونقاط نحو اتجاهات البحث في المستقبل.

In order to provide high-quality care, health professionals must efficiently identify the presence, possibility, or absence of symptoms, treatments and other relevant entities in free-text clinical notes. Such is the task of assertion detection - to identify the assertion class (present, possible, absent) of an entity based on textual cues in unstructured text. We evaluate state-of-the-art medical language models on the task and show that they outperform the baselines in all three classes. As transferability is especially important in the medical domain we further study how the best performing model behaves on unseen data from two other medical datasets. For this purpose we introduce a newly annotated set of 5,000 assertions for the publicly available MIMIC-III dataset. We conclude with an error analysis that reveals situations in which the models still go wrong and points towards future research directions.