كيبلر: نموذج موحد لتضمين المعرفة وتمثيل اللغة المدرب مسبقا

لا يمكن أن تلتقط نماذج تمثيل اللغة المدربة مسبقا مجردة مسبقا (PLMS) بشكل جيد معرفة واقعية من النص. في المقابل، يمكن أن تمثل طرق تضمين المعرفة (KE) بشكل فعال الحقائق العلائقية في الرسوم البيانية المعرفة (KGS) مع تضمينات كيانات مفيدة، لكن نماذج كيد التقليدية لا يمكنها الاستفادة الكاملة من المعلومات النصية الوفيرة. في هذه الورقة، نقترح نموذجا موحدا لتضمين المعرفة و LanguagereTresentation المعرفي (Kepler)، والذي لا يمكن أن يدمج المعرفة الواقعية بشكل أفضل فقط في PLMS ولكنه ينتج أيضا كه معزز نصيا فعالا مع PLMS القوي. في Kepler، نقوم بتشفير أوصاف الكيان النصي مع PLM كأنبات، ثم قم بتحسين أهداف النمذجة Ke واللغة المشتركة. تظهر النتائج التجريبية أن Kepler يحقق أدائها الحديثة في مهام NLP المختلفة، ويعمل أيضا بشكل ملحوظ كنموذج كه حثي على التنبؤ بربط KG. علاوة على ذلك، بالنسبة إلى ما قبل التدريب وتقييم Kepler، فإننا نبني Wikidata5M1، ومجموعة بيانات KG واسعة النطاق مع أوصاف كيان محاذاة، وأساليب KE-the-the-the-the-the-the-benchmark على ذلك. يجب أن تكون بمثابة مرجع كيد جديد وتسهيل البحث في كجم كبير، حثي كه، و KG مع النص. يمكن الحصول على شفرة المصدر من https://github.com/thu-keg/kepler.