توفر التفاعلات بين الكيانات في الرسم البياني للمعرفة (KG) معرفة غنية لتعلم تمثيل اللغة. ومع ذلك، تركز نماذج اللغة المحددة على المعرفة المعزوفة المعرفة الحالية (PLMS) فقط على معلومات الكيان وتجاهل العلاقات الجميلة بين الكيانات. في هذا العمل، نقترح دمج
كجم (بما في ذلك كلا من الكيانات والعلاقات) في عملية التعلم اللغوي للحصول على نموذج اللغة المحسنة KG، وهي KLMO. على وجه التحديد، تم تصميم مجمع المعرفة الرواية للنموذج صراحة التفاعل بين الكيان يمتد في النص وجميع الكيانات والعلاقات في كجم سياقي. يتم استخدام هدف تنبؤ العلاقة لدمج معلومات العلاقة من خلال الإشراف البعيد. يتم استخدام هدف ربط الكيان بشكل أكبر لربط كيان يمتد في نص إلى كيانات في كجم. وبهذه الطريقة، يمكن دمج المعرفة المهيكلة بشكل فعال في تمثيلات اللغة. توضح النتائج التجريبية أن KLMO يحقق تحسينات كبيرة على العديد من المهام التي يحركها المعرفة، مثل تصنيف الكيانات وتصنيف العلاقة، مقارنة مع PLMs المعرفة المعززة للحكومة.
تقدم هذه الورقة Estbert، وهو طراز بيرت محول محول محول محول كبير مسبقا للإستونية.قامت العمل الحديثة بتقييم نماذج بيرت متعددة اللغات على المهام الإستونية ووجدتها أن تتفوق على الأساس.ومع ذلك، بناء على الدراسات القائمة على اللغات الأخرى، من المتوقع أن تت
حسن نموذج بيرت خاص باللغة من المتوقعين على تلك المتعددة اللغات.نحن نصف أول عملية محاكمة Estbert ثم تقديم نتائج النماذج المستندة إلى Estbert Finetuned لمهام NLP متعددة، بما في ذلك نقاط البيع والعلامات المورفولوجية، وتحليل التبعية، والتعرف على الكيان المسمى وتصنيف النص.تظهر نتائج التقييم أن النماذج القائمة على Estbert تفوقت نماذج بيرت متعددة اللغات متعددة اللغات على خمس مهام من أصل سبعة، وتوفير المزيد من الأدلة تجاه الرأي أن نماذج Berty-الخاصة باللغة التدريبية لا تزال مفيدة، حتى عندما تتوفر نماذج متعددة اللغات.
الاتساق الملخص للنموذج --- أي ثابت سلوكه بموجب استطلاعات المعنى المحفوظة في مدخلاته --- هو ممتلكات مرغوبة للغاية في معالجة اللغة الطبيعية.في هذه الورقة ندرس السؤال: نماذج اللغة المحددة مسبقا (PLMS) بما يتفق فيما يتعلق بالمعرفة الواقعية؟تحقيقا لهذه ال
غاية، نقوم بإنشاء Pararel?، وهو مورد عالي الجودة لاستعلام النمط الإنجليزي على الطراز على الطراز.أنه يحتوي على ما مجموعه 328 صالة لمدة 38 علامة.باستخدام pararel?، نوضح أن اتساق جميع اللقطات المقبلات التي نقوم بتجربةها سيئة --- على الرغم من وجود تباين كبير بين العلاقات.يقترح تحليلنا للمساحات التمثيلية لمحلات PLMS أن لديهم بنية سيئة ولا تكون مناسبة حاليا لتمثيل المعرفة بقوة.أخيرا، نقترح طريقة لتحسين الاتساق النموذجي وتظهر تجريبيا فعاليته
