المحاذاة الذاتية محاكاة لتمثيل الكيانات الطبية الحيوية

على الرغم من النجاح الواسع النطاق للتعلم الإشراف على الذات من خلال نماذج لغة ملثم (MLM)، فإن التقاط علاقات الدلالية الدقيقة الدقيقة في المجال الطبي الحيوي يظل تحديا. هذا أمر بالغ الأهمية لمهام مستوى الكيان مثل الكيان الذي يربط حيث القدرة على نموذج العلاقات الكيانية (خاصة المرادف) محورية. لمعالجة هذا التحدي، نقترح Sapbert، وهو مخطط الاحتجاط بأنه يتماشى على مساحة التمثيل من الكيانات الطبية الحيوية. نقوم بتصميم إطار تعلم متري قابل للتطوير الذي يمكنه الاستفادة من UMLs، وهي مجموعة هائلة من الأنتولوج الطبي الطبيعي مع مفاهيم 4M +. على النقيض من ذلك مع أنظمة Hybrid التي تعتمد على الأنابيب السابقة، تقدم Sapbert حلا أنيقا نموذجيا لمشكلة ربط الكيان الطبي (MEL)، وتحقيق حالة جديدة من بين الفن (SOTA) على ستة MEL Benchmark مجموعات البيانات. في المجال العلمي، نحقق سوتا حتى بدون إشراف خاص بمهام المهام. مع تحسن كبير على مختلف MLMS المحدد مسبقا للمجال مثل BioBert و SciberTand و PubMedbert، يثبت نظامنا المحدد فعال وقوي.

Despite the widespread success of self-supervised learning via masked language models (MLM), accurately capturing fine-grained semantic relationships in the biomedical domain remains a challenge. This is of paramount importance for entity-level tasks such as entity linking where the ability to model entity relations (especially synonymy) is pivotal. To address this challenge, we propose SapBERT, a pretraining scheme that self-aligns the representation space of biomedical entities. We design a scalable metric learning framework that can leverage UMLS, a massive collection of biomedical ontologies with 4M+ concepts. In contrast with previous pipeline-based hybrid systems, SapBERT offers an elegant one-model-for-all solution to the problem of medical entity linking (MEL), achieving a new state-of-the-art (SOTA) on six MEL benchmarking datasets. In the scientific domain, we achieve SOTA even without task-specific supervision. With substantial improvement over various domain-specific pretrained MLMs such as BioBERT, SciBERTand and PubMedBERT, our pretraining scheme proves to be both effective and robust.