لا يمكن أن تلتقط نماذج تمثيل اللغة المدربة مسبقا مجردة مسبقا (PLMS) بشكل جيد معرفة واقعية من النص. في المقابل، يمكن أن تمثل طرق تضمين المعرفة (KE) بشكل فعال الحقائق العلائقية في الرسوم البيانية المعرفة (KGS) مع تضمينات كيانات مفيدة، لكن نماذج كيد التقليدية لا يمكنها الاستفادة الكاملة من المعلومات النصية الوفيرة. في هذه الورقة، نقترح نموذجا موحدا لتضمين المعرفة و LanguagereTresentation المعرفي (Kepler)، والذي لا يمكن أن يدمج المعرفة الواقعية بشكل أفضل فقط في PLMS ولكنه ينتج أيضا كه معزز نصيا فعالا مع PLMS القوي. في Kepler، نقوم بتشفير أوصاف الكيان النصي مع PLM كأنبات، ثم قم بتحسين أهداف النمذجة Ke واللغة المشتركة. تظهر النتائج التجريبية أن Kepler يحقق أدائها الحديثة في مهام NLP المختلفة، ويعمل أيضا بشكل ملحوظ كنموذج كه حثي على التنبؤ بربط KG. علاوة على ذلك، بالنسبة إلى ما قبل التدريب وتقييم Kepler، فإننا نبني Wikidata5M1، ومجموعة بيانات KG واسعة النطاق مع أوصاف كيان محاذاة، وأساليب KE-the-the-the-the-the-the-benchmark على ذلك. يجب أن تكون بمثابة مرجع كيد جديد وتسهيل البحث في كجم كبير، حثي كه، و KG مع النص. يمكن الحصول على شفرة المصدر من https://github.com/thu-keg/kepler.
Abstract Pre-trained language representation models (PLMs) cannot well capture factual knowledge from text. In contrast, knowledge embedding (KE) methods can effectively represent the relational facts in knowledge graphs (KGs) with informative entity embeddings, but conventional KE models cannot take full advantage of the abundant textual information. In this paper, we propose a unified model for Knowledge Embedding and Pre-trained LanguagERepresentation (KEPLER), which can not only better integrate factual knowledge into PLMs but also produce effective text-enhanced KE with the strong PLMs. In KEPLER, we encode textual entity descriptions with a PLM as their embeddings, and then jointly optimize the KE and language modeling objectives. Experimental results show that KEPLER achieves state-of-the-art performances on various NLP tasks, and also works remarkably well as an inductive KE model on KG link prediction. Furthermore, for pre-training and evaluating KEPLER, we construct Wikidata5M1 , a large-scale KG dataset with aligned entity descriptions, and benchmark state-of-the-art KE methods on it. It shall serve as a new KE benchmark and facilitate the research on large KG, inductive KE, and KG with text. The source code can be obtained from https://github.com/THU-KEG/KEPLER.
References used
https://aclanthology.org/
Pre-trained language models (PLMs) like BERT have made great progress in NLP. News articles usually contain rich textual information, and PLMs have the potentials to enhance news text modeling for various intelligent news applications like news recom
Existing pre-trained language models (PLMs) have demonstrated the effectiveness of self-supervised learning for a broad range of natural language processing (NLP) tasks. However, most of them are not explicitly aware of domain-specific knowledge, whi
Fine-tuned pre-trained language models (LMs) have achieved enormous success in many natural language processing (NLP) tasks, but they still require excessive labeled data in the fine-tuning stage. We study the problem of fine-tuning pre-trained LMs u
Word representations empowered with additional linguistic information have been widely studied and proved to outperform traditional embeddings. Current methods mainly focus on learning embeddings for words while embeddings of linguistic information (
The key challenge of question answering over knowledge bases (KBQA) is the inconsistency between the natural language questions and the reasoning paths in the knowledge base (KB). Recent graph-based KBQA methods are good at grasping the topological s