إن دمج المعرفة في نص هو وسيلة واعدة لإثراء التمثيل النصي، خاصة في المجال الطبي. ومع ذلك، فإن المعرفة غير المتمايزة لا تخلط بين تمثيل النص فحسب، بل تستورد أيضا ضوضاء غير متوقعة. في هذه الورقة، لتخفيف هذه المشكلة، نقترح الاستفادة من كبسولة التوجيه لربط
المعرفة مع الأدب الطبي هرمي (يسمى Hicapsrkl). أولا، تستخرج Hicapsrkl شظايا نصية مصممة تجريبية من الأدب الطبي وتكررها في تمثيلات شظية على التوالي. ثانيا، يتم تطبيق خوارزمية التوجيه الكبسولة على تمثيلين شظيين. من خلال الحوسبة الكبسولة والتوجيه الديناميكي، تتم معالجة كل تمثيل في تمثيل جديد (يشار إليه كتمثيل قبعات)، ونحن ندمج تمثيلات قبعات ككبار معلومات للمعرفة العاملية بالأدب الطبي هرمي. أخيرا، يتم التحقق من صحة Hicapsrkl عند التنبؤ بالأهمية ومجموعات اختبار استرجاع الأدب الطبي. تظهر النتائج والتحليلات التجريبية أن Hicapsrklcan أكثر دقة المعرفة مع الأدب الطبي من الأساليب الرئيسية. باختصار، يمكن أن يساعد Hicapsrkl بكفاءة في اختيار المعرفة الأكثر صلة بالأدب الطبي، والتي قد تكون محاولة بديلة لتحسين تمثيل النص المستند إلى المعرفة. يتم إصدار شفرة المصدر على Github.
المعرفة الواقعية المكتسبة أثناء التدريب المسبق وتخزينها في معلمات نماذج اللغة (LMS) يمكن أن تكون مفيدة في مهام المصب (على سبيل المثال، الإجابة على السؤال أو الاستدلال النصي). ومع ذلك، يمكن أن تسبب بعض الحقائق أو تصبح عفا عليها الزمن مع مرور الوقت. نق
دم المعلمين، وهي طريقة يمكن استخدامها لتحرير هذه المعرفة، وبالتالي إصلاح الأخطاء أو التنبؤات غير المتوقعة دون الحاجة إلى إعادة تدريب مكلفة أو ضبط جيد. إلى جانب كونها فعالة بشكل حسابي، لا تتطلب المعرفة المعرفة أي تعديلات في LM قبل التدريب (على سبيل المثال، استخدام التعلم التلوي). في نهجنا، نحن ندرب شبكة فرط بتحسين مقيد لتعديل حقيقة دون التأثير على بقية المعرفة؛ ثم يتم استخدام شبكة Hyper المدربة للتنبؤ بتحديث الوزن في وقت الاختبار. نعرض فعالية المعرفة مع اثنين من المهندسينيات الشائعة ومهام المعرفة المكثفة: ط) نموذج بيرت يتم ضبطه بشكل جيد لفحص الحقائق، والثاني) نموذج بارت تسلسل إلى تسلسل للرد على السؤال. من خلال طريقتنا، يميل تغيير التنبؤ بشأن الصياغة المحددة لاستعلامه إلى تغيير متسق في التنبؤ أيضا بصيادتها. نظرا لأن هذا يمكن تشجيعه بشكل أكبر من خلال استغلال الصياغة (على سبيل المثال، التي تم إنشاؤها تلقائيا) أثناء التدريب. ومن المثير للاهتمام، أن شبكة فرط لدينا يمكن اعتبارها مسبار "تكشف عن مكونات يجب تغييرها لمعالجة المعرفة الواقعية؛ يوضح تحليلنا أن التحديثات تميل إلى التركيز على مجموعة فرعية صغيرة من المكونات. شفرة المصدر المتاحة في https://github.com/nicola-decao/knowegleditor
يهدف كتابة كيان الرسم البياني للمعرفة إلى أن ينتج أنواع الكيانات المفقودة في الرسوم البيانية المعرفة التي تعد قضية مهمة ولكنها غير مستحقة.تقترح هذه الورقة طريقة رواية لهذه المهمة من خلال الاستفادة من المعلومات السياقية للكيانات.على وجه التحديد، نقوم
بتصميم آليات الاستدلال: I) N2T: استخدام كل جار كل جار بشكل مستقل لاستنتاج نوعه؛2) AGG2T: إجمالي جيران كيان لاستنتاج نوعها.ستنتج هذه الآليات نتائج الاستدلال المتعددة، وتستخدم طريقة تجميع مضاعفة بشكل كبير لتوليد نتيجة الاستدلال النهائي.علاوة على ذلك، نقترح وظيفة خسارة جديدة لتخفيف المشكلة السلبية الخاطئة أثناء التدريب.تجارب على اثنين من كلغ العالم الحقيقي توضح فعالية طريقتنا.يمكن الحصول على شفرة المصدر وبيانات هذه الورقة من https://github.com/cciiplab/cet.
هناك حدود مثيرة في فهم اللغة الطبيعية (NLU) وتوليد (NLG) يدعو (NLG) نماذج لغة (Vision-and) التي يمكن أن تصل إلى إمكانية الوصول إلى مستودعات المعرفة المنظم الخارجية بكفاءة. ومع ذلك، فإن العديد من قواعد المعرفة الموجودة تغطي فقط المجالات المحدودة، أو ت
عاني من بيانات صاخبة، والأهم من ذلك كلها يصعب دمجها عادة في خطوط أنابيب اللغة العصبية. لملء هذه الفجوة، ونحن نطلق عرض المرئيات: رسم بياني لمعرفة عالية الجودة (كجم) والتي تشمل العقد مع المواد المتعددة اللغات والصور التوضيحية المتعددة، والعلاقات ذات الصلة بصريا. ونحن نطلق أيضا نموذج استرجاع متعدد الوسائط العصبي يمكنه استخدام الصور أو الجمل كمدخلات واسترداد الكيانات في كجم. يمكن دمج نموذج استرجاع متعدد الوسائط هذا في أي خط أنابيب نموذج (الشبكة العصبية). نحن نشجع مجتمع البحث على استخدام المرئيات لتعزيز البيانات و / أو كمصدر للتأريض، من بين الاستخدامات الأخرى الممكنة. تتميز المرئيات وكذلك نماذج استرجاع متعددة الوسائط متاحة للجمهور ويمكن تنزيلها في عنوان URL هذا: https://github.com/acercalixto/visualsem.
تتمثل التعريف بإعادة الصياغة (PI)، وهي مهمة أساسية في معالجة اللغة الطبيعية، هي تحديد ما إذا كانت الجملتين تعبر عن نفس المعنى المماثل، وهي مشكلة تصنيف ثنائية. في الآونة الأخيرة، كانت النماذج اللغوية المدربة مسبقا بيرت هي خيارا شائعا لأطر نماذج PI الم
ختلفة، ولكن جميع الطرق الحالية تقريبا تنظر في نص مجال عام. عندما يتم تطبيق هذه الأساليب على مجال معين، لا يمكن أن تكتب النماذج الحالية تنبؤات دقيقة بسبب نقص المعرفة المهنية. في ضوء هذا التحدي، نقترح إطارا جديدا، وهو، الذي يمكن أن يستفيد من المعرفة الخارجية غير المنظمة في ويكيبيديا لتحديد المواطن بدقة. نقترح علما مخلاصة المعرفة بالمفاهيم المتعلقة بحكمات معينة من ويكيبيديا عبر نموذج BM25. بعد استرداد المعرفة المخططة ذات الصلة، يجعل التنبؤات بناء على كل من المعلومات الدلالية للجملتين ومعرفة الخطوط العريضة. إضافة إلى ذلك، نقترح آلية Gating تجميع التنبؤ الدلالي القائم على المعلومات والتنبؤ القائم على المعرفة. تتم إجراء تجارب واسعة على مجموعة بيانات عامين: العرض (مجموعة بيانات مجال علوم الكمبيوتر) و Clinicalsts2019 (مجموعة بيانات مجال الطب الحيوي). تشير النتائج إلى أن الأساليب المتوفرة التي تتفوقت على أحدث الأحوال.
لقد أظهرت الأدوات الحديثة الأخيرة أن نماذج تعلم الرسم البياني المعرفي (KG) عرضة للغاية للهجمات الخصومة.ومع ذلك، لا تزال هناك ندرة من تحليلات الضعف لمحاذاة الكيان المتبادلة تحت هجمات الخصومة.تقترح هذه الورقة نموذج هجوم مخدر مع تقنيات هجومين جديدة لإشر
اض هيكل كجم وتدلل جودة محاذاة الكيان المتبادلة العميقة.أولا، يتم استخدام طريقة تعظيم كثافة الكيان لإخفاء الكيانات المهاجمة في المناطق الكثيفة في كلكتين، بحيث تكون الاضطرابات المشتقة غير ملحوظة.ثانيا، تم تطوير طريقة تضخيم إشارة الهجوم لتقليل مشاكل التلاشي التجريبية في عملية الهجمات الخصومة لمزيد من تحسين فعالية الهجوم.
تميل أنظمة المحادثة التوليدية إلى إنتاج ردود لا معنى لها والأجنحة، والتي تقلل بشكل كبير من تجربة المستخدم. من أجل توليد ردود مفيدة ومتنوعة، اقترحت الدراسات الحديثة المعرفة لتحسين المعلوماتية وتعتمد المتغيرات الكامنة لتعزيز التنوع. ومع ذلك، فإن الاستف
ادة من المتغيرات الكامنة ستؤدي إلى عدم دقة المعرفة في الاستجابات، ونشر المعرفة الخاطئة ستضلل المسؤولون. لمعالجة هذه المشكلة، نقترح شبكة مخدرة متنوعة من الناحية النحوية (SDAN) لنموذج المحادثة المدرجة المعرفة. يحتوي SDAN على شبكة دلالات هرمية ذات خصومة للحفاظ على التماسك الدلالي، وهي شبكة مدركة للمعرفة لحضور المعرفة الأكثر متعلقة بتحسين المعلومات والشبكة المتغيرة الكامنة النحوية لتوليد ردود متنوعة من الناحية النحوية. بالإضافة إلى ذلك، من أجل زيادة إمكانية التحكم في بناء الجملة، نعتمد التعلم الخصم لإزالة التمثيلات الدلالية والمنظمات. تظهر النتائج التجريبية أن طرازنا لا يمكن أن يؤدي فقط إلى تحقيق استجابات متنوعة ومتنوعة من المعرفة فقط ولكنها تحقق أيضا التوازن بين تحسين التنوع النحوي والحفاظ على دقة المعرفة.
إن غرس المعرفة الواقعية في النماذج المدربة مسبقا أمر أساسي للعديد من المهام المكثفة المعرفة.في هذه الورقة، اقترحنا مزيج الأقسام (MOP)، نهج التسريب يمكنه التعامل مع الرسم البياني المعرفي كبير جدا (KG) من خلال تقسيمه إلى الرسوم البيانية الفرعية الأصغر
وفسر معرفتهم المحددة في نماذج بخير مختلفة باستخدام محولات خفيفة الوزن.للاستفادة من المعرفة الواقعية الشاملة للمهمة المستهدفة، فإن محولات هذه الرسوم البيانية الفرعية يتم ضبطها بشكل جيد بالإضافة إلى التقدم الأساسي من خلال طبقة خليط.نقوم بتقييم ممسحنا بثلاثة بريرز الطبية الحيوية (Scibert، BioBert، Pubmedbert) على ستة مهام (Inc. NLI، QA، التصنيف)، وإظهار النتائج أن ممسحنا يعزز باستمرار القصصات الأساسية في أداء المهام، وتحقق عروض سوتا الجديدةفي خمس مجموعات بيانات تقييمها.
نحن ندرس تصنيف التفضيل المقارن (CPC) الذي يهدف إلى التنبؤ بما إذا كان مقارنة الأفضلية موجودة بين كيانين في عقوبة معينة، وإذا كان الأمر كذلك، فهذا، يفضل الكيان على الآخر. يمكن أن نماذج CPC عالية الجودة تستفيد بشكل كبير تطبيقات مثل السؤال المقارن الرد
التوصية القائمة على المراجعة. من بين الأساليب الحالية، تعاني أساليب التعلم غير العميقة من أداء أدنى. الرسم البياني لحديث الحديث في الشبكة العصبية المستندة إلى الشبكة (ما، و 2020) يعتبر فقط المعلومات النحوية مع تجاهل العلاقات الدلالية الحاسمة والمشاعر إلى الكيانات المقارنة. نقترح أن نقترح تحليل المعنويات الشبكة المقارنة المعززة (Saecon) الذي يحسن دقة الحزب الشيوعي الصيني مع محلل معنويات يتعلم المشاعر إلى الكيانات الفردية عبر نقل المعرفة التكيفية المجال. يجري التجارب على مجموعة بيانات Compsent-19 (Panchenko et al.، 2019) تحسنا كبيرا على درجات F1 على أفضل طرق CPC الحالية.
يفهم فهم الوسيلة اللغوية على نطاق واسع بنفس أهمية مهام المصب مثل الإجابة على السؤال ورسم الرسم البياني المعرفي.قد يتوقع أيضا الاستفادة من التعلم الرسم البياني الاستيباري من الاهتمام بالطريقة.نقوم ببناء الرسوم البيانية الاستيبارية باستخدام Corpus News
التي تمت تصفيتها مع محلل طريقة، وإظهار أن معدلات تجريد مشروط من المسندات في الواقع تزيد الأداء.هذا يشير إلى أنه بالنسبة لبعض المهام، فإن البراغماتية لتعديل مشروط للندوات يسمح لهم بالمساهمة كدليل على الاستلام.
