دمج المعرفة الطبية في بيرت لاستخراج العلاقات السريرية

في السنوات الأخيرة، أثبتت نماذج اللغة المدربة مسبقا (PLM) مثل بيرت فعالة للغاية في مهام NLP المتنوعة مثل استخراج المعلومات وتحليل المعنويات والرد على الأسئلة.تدربت مع نص المجال العام الضخم، هذه النماذج اللغوية المدربة مسبقا تلتقط معلومات النحوية والدلية والجلطة الغنية في النص.ومع ذلك، نظرا للاختلافات بين نص مجال عام ومحدد (E.G.، Wikipedia مقابل ملاحظات عيادة)، قد لا تكون هذه النماذج مثالية للمهام الخاصة بالمجال (على سبيل المثال، استخراج العلاقات السريرية).علاوة على ذلك، قد يتطلب الأمر معرفة طبية إضافية لفهم النص السريري بشكل صحيح.لحل هذه القضايا، في هذا البحث، نقوم بإجراء فحص شامل للتقنيات المختلفة لإضافة المعرفة الطبية إلى نموذج برت مدرب مسبقا لاستخراج العلاقات السريرية.تتفوق أفضل طرازنا على مجموعة بيانات استخراج الحالة الإكلينيكية من أحدث طراز I2B2 / VA 2010.

In recent years pre-trained language models (PLM) such as BERT have proven to be very effective in diverse NLP tasks such as Information Extraction, Sentiment Analysis and Question Answering. Trained with massive general-domain text, these pre-trained language models capture rich syntactic, semantic and discourse information in the text. However, due to the differences between general and specific domain text (e.g., Wikipedia versus clinic notes), these models may not be ideal for domain-specific tasks (e.g., extracting clinical relations). Furthermore, it may require additional medical knowledge to understand clinical text properly. To solve these issues, in this research, we conduct a comprehensive examination of different techniques to add medical knowledge into a pre-trained BERT model for clinical relation extraction. Our best model outperforms the state-of-the-art systems on the benchmark i2b2/VA 2010 clinical relation extraction dataset.