إن غرس المعرفة الواقعية في النماذج المدربة مسبقا أمر أساسي للعديد من المهام المكثفة المعرفة.في هذه الورقة، اقترحنا مزيج الأقسام (MOP)، نهج التسريب يمكنه التعامل مع الرسم البياني المعرفي كبير جدا (KG) من خلال تقسيمه إلى الرسوم البيانية الفرعية الأصغر
وفسر معرفتهم المحددة في نماذج بخير مختلفة باستخدام محولات خفيفة الوزن.للاستفادة من المعرفة الواقعية الشاملة للمهمة المستهدفة، فإن محولات هذه الرسوم البيانية الفرعية يتم ضبطها بشكل جيد بالإضافة إلى التقدم الأساسي من خلال طبقة خليط.نقوم بتقييم ممسحنا بثلاثة بريرز الطبية الحيوية (Scibert، BioBert، Pubmedbert) على ستة مهام (Inc. NLI، QA، التصنيف)، وإظهار النتائج أن ممسحنا يعزز باستمرار القصصات الأساسية في أداء المهام، وتحقق عروض سوتا الجديدةفي خمس مجموعات بيانات تقييمها.
للعثور على تضمين مناسب لرجل المعرفة يظل تحديا كبيرا في الوقت الحاضر. باستخدام أساليب شرطة المعرفة السابقة، عادة ما يتم تمثيل كل كيان في رسم بياني المعرفة كجاغر K- الأبعاد. كما نعلم، يمكن التعبير عن تحول أفيني في شكل مضاعفة مصفوفة تليها ناقلات الترجمة
. في هذه الورقة، نستفيد أولا مجموعة من التحولات الفوضى المتعلقة بكل علاقة بتشغيل على ناقلات الكيان، ثم يتم استخدام هذه المتجهات المحولة لأداء التضمين مع الأساليب السابقة. تتمثل الميزة الرئيسية لاستخدام تحويلات Affine خصائص هندسة جيدة مع إمكانية الترجمة الشفوية. توضح نتائجنا التجريبية أن التصميم الفديهي المقترح مع تحويلات تفكيك يوفر زيادة ذات دلالة إحصائية في الأداء مع إضافة بعض خطوات معالجة إضافية أو إضافة عدد محدود من المتغيرات الإضافية. اتخاذ Transe كمثال، فإننا نوظف تحويل المقياس (الحالة الخاصة لتحويل أفيركي)، ويعرض فقط متغيرات إضافية لكل علاقة. من المستغرب، فإنه ينطبق على التدوير إلى حد ما على مجموعات البيانات المختلفة. نحن نقدم أيضا تحويلات تفكيكية إلى التدوير والضيق والمعقدة، على التوالي، وكل واحد يتفوق على طريقته الأصلية.
هناك حدود مثيرة في فهم اللغة الطبيعية (NLU) وتوليد (NLG) يدعو (NLG) نماذج لغة (Vision-and) التي يمكن أن تصل إلى إمكانية الوصول إلى مستودعات المعرفة المنظم الخارجية بكفاءة. ومع ذلك، فإن العديد من قواعد المعرفة الموجودة تغطي فقط المجالات المحدودة، أو ت
عاني من بيانات صاخبة، والأهم من ذلك كلها يصعب دمجها عادة في خطوط أنابيب اللغة العصبية. لملء هذه الفجوة، ونحن نطلق عرض المرئيات: رسم بياني لمعرفة عالية الجودة (كجم) والتي تشمل العقد مع المواد المتعددة اللغات والصور التوضيحية المتعددة، والعلاقات ذات الصلة بصريا. ونحن نطلق أيضا نموذج استرجاع متعدد الوسائط العصبي يمكنه استخدام الصور أو الجمل كمدخلات واسترداد الكيانات في كجم. يمكن دمج نموذج استرجاع متعدد الوسائط هذا في أي خط أنابيب نموذج (الشبكة العصبية). نحن نشجع مجتمع البحث على استخدام المرئيات لتعزيز البيانات و / أو كمصدر للتأريض، من بين الاستخدامات الأخرى الممكنة. تتميز المرئيات وكذلك نماذج استرجاع متعددة الوسائط متاحة للجمهور ويمكن تنزيلها في عنوان URL هذا: https://github.com/acercalixto/visualsem.
أظهرت نماذج Graph Graph الحديثة (KGE) على أساس الهندسة الزئوية إمكانات كبيرة في مساحة تضمين منخفضة الأبعاد. ومع ذلك، لا تزال ضرورة الفضاء القطعي في كوريا العليا مشكوك فيها، لأن الحساب الذي يعتمد على الهندسة الزئوية أكثر تعقيدا بكثير من عمليات Euclide
an. في هذه الورقة، استنادا إلى مجموعة من طراز Hyperbolic Typerbolic، نطور اثنين من النماذج المستندة إلى Euclidean خفيفة الوزن، تسمى Rotl و Rot2L. يسبق نموذج ROTL العمليات القطعي مع الحفاظ على تأثير التطبيع المرن. الاستفادة من تحول مكدسة طبقة رواية واستنادا إلى ROTL، يحصل نموذج Rot2L على إمكانية تحسين تمثيل، ومع ذلك يكلف عددا أقل من المعلمات والحسابات من روث. تظهر التجارب على تنبؤ الارتباط أن ROT2L يحصل على الأداء الحديثة على مجموعة من مجموعات البيانات المستخدمة على نطاق واسع في مدمج الرسم البياني المعرفي منخفض الأبعاد. علاوة على ذلك، يحقق Rotl أداء مماثل ك Roth ولكن يتطلب فقط نصف وقت التدريب.
توفر التفاعلات بين الكيانات في الرسم البياني للمعرفة (KG) معرفة غنية لتعلم تمثيل اللغة. ومع ذلك، تركز نماذج اللغة المحددة على المعرفة المعزوفة المعرفة الحالية (PLMS) فقط على معلومات الكيان وتجاهل العلاقات الجميلة بين الكيانات. في هذا العمل، نقترح دمج
كجم (بما في ذلك كلا من الكيانات والعلاقات) في عملية التعلم اللغوي للحصول على نموذج اللغة المحسنة KG، وهي KLMO. على وجه التحديد، تم تصميم مجمع المعرفة الرواية للنموذج صراحة التفاعل بين الكيان يمتد في النص وجميع الكيانات والعلاقات في كجم سياقي. يتم استخدام هدف تنبؤ العلاقة لدمج معلومات العلاقة من خلال الإشراف البعيد. يتم استخدام هدف ربط الكيان بشكل أكبر لربط كيان يمتد في نص إلى كيانات في كجم. وبهذه الطريقة، يمكن دمج المعرفة المهيكلة بشكل فعال في تمثيلات اللغة. توضح النتائج التجريبية أن KLMO يحقق تحسينات كبيرة على العديد من المهام التي يحركها المعرفة، مثل تصنيف الكيانات وتصنيف العلاقة، مقارنة مع PLMs المعرفة المعززة للحكومة.
يهدف كتابة كيان الرسم البياني للمعرفة إلى أن ينتج أنواع الكيانات المفقودة في الرسوم البيانية المعرفة التي تعد قضية مهمة ولكنها غير مستحقة.تقترح هذه الورقة طريقة رواية لهذه المهمة من خلال الاستفادة من المعلومات السياقية للكيانات.على وجه التحديد، نقوم
بتصميم آليات الاستدلال: I) N2T: استخدام كل جار كل جار بشكل مستقل لاستنتاج نوعه؛2) AGG2T: إجمالي جيران كيان لاستنتاج نوعها.ستنتج هذه الآليات نتائج الاستدلال المتعددة، وتستخدم طريقة تجميع مضاعفة بشكل كبير لتوليد نتيجة الاستدلال النهائي.علاوة على ذلك، نقترح وظيفة خسارة جديدة لتخفيف المشكلة السلبية الخاطئة أثناء التدريب.تجارب على اثنين من كلغ العالم الحقيقي توضح فعالية طريقتنا.يمكن الحصول على شفرة المصدر وبيانات هذه الورقة من https://github.com/cciiplab/cet.
تعكس العلاقات في معظم الرسوم البيانية المعارف التقليدية (KGS) فقط الاتصالات الثابتة والواقعية، ولكنها تفشل في تمثيل الأنشطة الديناميكية وتغير الدولة حول الكيانات. في هذه الورقة، نؤكد على أهمية دمج الأحداث في تعلم تمثيل KG، واقتراح نموذج Eventke Event
ke Eventke المحسن للحدث. على وجه التحديد، نظرا لل KG الأصلية، فإننا ندمج أول عقود حدث من خلال بناء شبكة غير متجانسة، حيث يتم توزيع العقد الكيانية وعقد الحدث على جانبي الشبكة بين روابط الوسيطة في الحدث. ثم نستخدم علاقات كيان الكيان من الروابط الزمنية KG والأحداث الزمنية الأصلية إلى الكيان والكيان الداخلي والوقت على التوالي. نقوم بتصميم طريقة تمرير رسائل مفيدة وتستند إلى الرواية، والتي يتم إجراؤها على كيان كيان وكيان الحدث وحدث الأحداث لفيد معلومات الحدث في AGBeddings KG. تظهر النتائج التجريبية على مجموعات البيانات في العالم الحقيقي أن الأحداث يمكن أن تحسن إلى حد كبير جودة AGEDDINGS KG على مهام متعددة المصب.
لقد أظهرت الأدوات الحديثة الأخيرة أن نماذج تعلم الرسم البياني المعرفي (KG) عرضة للغاية للهجمات الخصومة.ومع ذلك، لا تزال هناك ندرة من تحليلات الضعف لمحاذاة الكيان المتبادلة تحت هجمات الخصومة.تقترح هذه الورقة نموذج هجوم مخدر مع تقنيات هجومين جديدة لإشر
اض هيكل كجم وتدلل جودة محاذاة الكيان المتبادلة العميقة.أولا، يتم استخدام طريقة تعظيم كثافة الكيان لإخفاء الكيانات المهاجمة في المناطق الكثيفة في كلكتين، بحيث تكون الاضطرابات المشتقة غير ملحوظة.ثانيا، تم تطوير طريقة تضخيم إشارة الهجوم لتقليل مشاكل التلاشي التجريبية في عملية الهجمات الخصومة لمزيد من تحسين فعالية الهجوم.
يفهم فهم الوسيلة اللغوية على نطاق واسع بنفس أهمية مهام المصب مثل الإجابة على السؤال ورسم الرسم البياني المعرفي.قد يتوقع أيضا الاستفادة من التعلم الرسم البياني الاستيباري من الاهتمام بالطريقة.نقوم ببناء الرسوم البيانية الاستيبارية باستخدام Corpus News
التي تمت تصفيتها مع محلل طريقة، وإظهار أن معدلات تجريد مشروط من المسندات في الواقع تزيد الأداء.هذا يشير إلى أنه بالنسبة لبعض المهام، فإن البراغماتية لتعديل مشروط للندوات يسمح لهم بالمساهمة كدليل على الاستلام.
تقدم هذه الورقة مساعينا لحل المهام 11، NLPContribeGraph، Semeval-2021. كان الغرض من المهمة استخراج ثلاث مرات من ورقة في مجال معالجة لغة الطبيعة لإنشاء رسم بياني لمعرفة بحث مفتوح. تتضمن المهمة ثلاثة مهام فرعية: اكتشاف أحكام المساهمة في الأوراق وتحديد
العبارات العلمية والعبارات المسندة من أحكام المساهمة؛ واستنتاج ثلاث مرات في شكل (الموضوع، المسند، كائن) كبيانات لبناء الرسم البياني المعرفة. في هذه الورقة، نطبق مجموعة من مختلف نماذج اللغة المدربة مسبقا بشكل جيد (PLM) للمهام واحدة واثنين. بالإضافة إلى ذلك، يتم اعتماد أساليب التدريب الذاتي لمعالجة النقص في البيانات المشروح. للمهمة الثالثة، بدلا من استخدام هياكل استخراج المعلومات المفتوحة الكلاسيكية (OIE) الكلاسيكية، فإننا نولد ثلاث مرات محتملة عبر القواعد المصممة يدويا وتطوير مصنف ثنائي للتمييز بين الآخرين من الآخرين. تظهر النتائج الكمية أننا نحصل على المرتبة الرابعة والثانية والثانية في ثلاث مراحل تقييم.
