قد يكون بيرت مبالا: رابط كيان طلي طبيعي صغير ولكن فعال يستند إلى الشبكات العصبية التفافية المتبقية

إن ربط الكيانات الطبية الحيوية هي مهمة ربط الكيان في وثيقة طبيب طبيعية إلى كيانات مرجعية في قاعدة المعرفة. في الآونة الأخيرة، تم تقديم العديد من النماذج القائمة على بيرت للمهمة. في حين أن هذه النماذج تحقق نتائج تنافسية على العديد من مجموعات البيانات، فإنها باهظة الثمن بشكل حسابي وتحتوي على حوالي 110 مليون معلمة. لا يعرف القليل عن العوامل التي تساهم في أدائها المثيرة للإعجاب وما إذا كانت هناك حاجة إلى المعلمة الإفراطية. في هذا العمل، ألقينا بعض الضوء على الأعمال الداخلية لهذه النماذج الكبيرة القائمة على بيرت. من خلال مجموعة من التجارب التحقيق، وجدنا أن كيان يربط الأداء يتغير فقط قليلا عند خلط ترتيب كلمات الإدخال أو عندما يقتصر نطاق الانتباه على حجم نافذة ثابتة. من هذه الملاحظات، نقترح شبكة عصبية نفعية فعالة مع وصلات متبقية لربط الكيانات الطبية الحيوية. نظرا لخصائص التوصيلية المتناثرة وتقاسم الوزن، يحتوي نموذجنا على عدد صغير من المعلمات وهو فعال للغاية. على خمسة مجموعات بيانات عامة، يحقق نموذجنا القابل للمقارنة أو حتى أفضل ربط بدقة من النماذج القائمة على بيرت من أحدث المعلمات التي تضم حوالي 60 مرة معايير أقل من 60 مرة.

Biomedical entity linking is the task of linking entity mentions in a biomedical document to referent entities in a knowledge base. Recently, many BERT-based models have been introduced for the task. While these models achieve competitive results on many datasets, they are computationally expensive and contain about 110M parameters. Little is known about the factors contributing to their impressive performance and whether the over-parameterization is needed. In this work, we shed some light on the inner workings of these large BERT-based models. Through a set of probing experiments, we have found that the entity linking performance only changes slightly when the input word order is shuffled or when the attention scope is limited to a fixed window size. From these observations, we propose an efficient convolutional neural network with residual connections for biomedical entity linking. Because of the sparse connectivity and weight sharing properties, our model has a small number of parameters and is highly efficient. On five public datasets, our model achieves comparable or even better linking accuracy than the state-of-the-art BERT-based models while having about 60 times fewer parameters.