تطوير نموذج لغة سريري للسويدية: استمرار الاحتجاج من بيرت عام مع بيانات داخل المجال

أصبح استخدام نماذج اللغة المحددة مسبقا، التي تم ضبطها بشكل جيد لأداء مهمة محددة من النهر، على نطاق واسع في NLP.ومع ذلك، قد يكون استخدام نموذج لغة عامة في المجالات المتخصصة، دون المستوى شبه الأمثل بسبب الاختلافات في استخدام اللغة والمفردات.في هذه الورقة، يتم التحقيق في ما إذا كان يمكن تحسين نموذج لغة قائم على اللغة السويدية للمجال السريري من خلال استمرار الاحتجاج بالنص السريري.يتم ضبط نماذج اللغة العامة ومجموعة من المجال بشكل جيد وتقييمها على ثلاثة مهام NLP السريرية الممثلة: (1) تحديد المعلومات الصحية المحمية، (2) تعيين رموز تشخيص ICD-10 إلى الملخصات التفريغ، و (3) عدم اليقين على مستوى الجملةتنبؤ.تظهر النتائج أن الاحيلية المستمرة على البيانات داخل المجال تؤدي إلى تحسين الأداء على جميع المهام الثلاثة المصب، مما يشير إلى وجود قيمة مضافة محتملة لنماذج اللغة الخاصة بالمجال ل NLP السريري.

The use of pretrained language models, fine-tuned to perform a specific downstream task, has become widespread in NLP. Using a generic language model in specialized domains may, however, be sub-optimal due to differences in language use and vocabulary. In this paper, it is investigated whether an existing, generic language model for Swedish can be improved for the clinical domain through continued pretraining with clinical text. The generic and domain-specific language models are fine-tuned and evaluated on three representative clinical NLP tasks: (i) identifying protected health information, (ii) assigning ICD-10 diagnosis codes to discharge summaries, and (iii) sentence-level uncertainty prediction. The results show that continued pretraining on in-domain data leads to improved performance on all three downstream tasks, indicating that there is a potential added value of domain-specific language models for clinical NLP.