مزيج الأقسام: غرس الرسوم البيانية المعرفة الطبية الحيوية الكبيرة في بيرت

إن غرس المعرفة الواقعية في النماذج المدربة مسبقا أمر أساسي للعديد من المهام المكثفة المعرفة.في هذه الورقة، اقترحنا مزيج الأقسام (MOP)، نهج التسريب يمكنه التعامل مع الرسم البياني المعرفي كبير جدا (KG) من خلال تقسيمه إلى الرسوم البيانية الفرعية الأصغر وفسر معرفتهم المحددة في نماذج بخير مختلفة باستخدام محولات خفيفة الوزن.للاستفادة من المعرفة الواقعية الشاملة للمهمة المستهدفة، فإن محولات هذه الرسوم البيانية الفرعية يتم ضبطها بشكل جيد بالإضافة إلى التقدم الأساسي من خلال طبقة خليط.نقوم بتقييم ممسحنا بثلاثة بريرز الطبية الحيوية (Scibert، BioBert، Pubmedbert) على ستة مهام (Inc. NLI، QA، التصنيف)، وإظهار النتائج أن ممسحنا يعزز باستمرار القصصات الأساسية في أداء المهام، وتحقق عروض سوتا الجديدةفي خمس مجموعات بيانات تقييمها.

Infusing factual knowledge into pre-trained models is fundamental for many knowledge-intensive tasks. In this paper, we proposed Mixture-of-Partitions (MoP), an infusion approach that can handle a very large knowledge graph (KG) by partitioning it into smaller sub-graphs and infusing their specific knowledge into various BERT models using lightweight adapters. To leverage the overall factual knowledge for a target task, these sub-graph adapters are further fine-tuned along with the underlying BERT through a mixture layer. We evaluate our MoP with three biomedical BERTs (SciBERT, BioBERT, PubmedBERT) on six downstream tasks (inc. NLI, QA, Classification), and the results show that our MoP consistently enhances the underlying BERTs in task performance, and achieves new SOTA performances on five evaluated datasets.