تهدف استخراج العلاقات المنخفضة الموارد (LRE) إلى استخراج حقائق العلاقة من كورسا محدودة المسمى عندما تشريح الإنسان نادرة. تعمل الأعمال الموجودة إما استخدام مخطط التدريب الذاتي لتوليد ملصقات زائفة ستتسبب في مشكلة الانجراف التدريجي، أو نظام التعلم التلو
ي الاستفادي الذي لا يتطلب التغيلات بشكل صريح. لتخفيف التحيز الاختيار بسبب عدم وجود حلقات ردود الفعل في نماذج التعلم الحالية، قمنا بتطوير طريقة تعليمية لتعزيز التعزيز التدرج لتشجيع بيانات الملصقات الزائفة لتقليد اتجاه نزول التدرج على البيانات المسمى و Bootstrap إمكانية التحسين من خلال التجربة والخطأ. نقترح أيضا إطارا يسمى Gradlre، الذي يتعامل مع سيناريوهات رئيسيين في استخراج علاقة الموارد المنخفضة. إلى جانب السيناريو حيث تكون البيانات غير المسبقة كافية، يتعامل Gradlre الموقف حيث لا تتوفر بيانات غير قابلة للتحقيق، من خلال استغلال طريقة تكبير سياقيا لتوليد البيانات. النتائج التجريبية على مجموعات بيانات عامة تثبت فعالية الخريجين في استخراج العلاقات المنخفضة للموارد عند مقارنة مع الأساس.
يركز استخراج علاقات قليلة (FSRE) على الاعتراف بعلاقات جديدة من خلال التعلم مع مجرد حفنة من الحالات المشروح.تم اعتماد التعلم التلوي على نطاق واسع لمثل هذه المهمة، والتي تتدرب على إنشاء مهام قليلة من الرصاص بشكل عشوائي لتعلم تمثيلات بيانات عامة.على الر
غم من النتائج المثيرة للإعجاب التي تحققت، لا تزال النماذج الحالية تؤدي دون التفاادم عند التعامل مع مهام FSRE الثابتة، حيث تكون العلاقات محببة ومتشابهة لبعضها البعض.نقول هذا إلى حد كبير لأن النماذج الحالية لا تميز المهام الثابتة من سهلة في عملية التعلم.في هذه الورقة، نقدم نهجا جديدا يعتمد على التعلم المتعاقل الذي يتعلم تمثيلات أفضل من خلال استغلال معلومات الملصقات العلاقة.نحن أيضا تصميم طريقة تسمح للنموذج بتعلم تكيف كيفية التركيز على المهام الثابتة.تجارب على مجموعة بيانات قياسية توضح فعالية طريقتنا.
تركز أساليب استخراج العلاقة الحالية (إعادة) عادة على استخراج الحقائق العلائقية بين أزواج الكيان داخل جمل أو مستندات واحدة.ومع ذلك، لا يمكن استنتاج كمية كبيرة من الحقائق العلائقية في قواعد المعرفة إلا في جميع الوثائق في الممارسة.في هذا العمل، نقدم مشك
لة إعادة الوثيقة العملية، مما يجعل خطوة أولية نحو اكتساب المعرفة في البرية.لتسهيل البحث، نقوم ببناء أول مجموعة بيانات عبر الوثيقة المشروح البشرية.مقارنة مع مجموعات البيانات الحالية، تقدم Codred تحديين رئيسيين: بالنظر إلى كيانين، (1) يتطلب إيجاد المستندات ذات الصلة التي يمكن أن توفر أدلة لتحديد علاقاتها؛(2) يتطلب التفكير في مستندات متعددة لاستخراج الحقائق العلائقية.نقوم بإجراء تجارب شاملة لإظهار أن Codred هو تحدي أساليب إعادة الخدمات القائمة بما في ذلك النماذج القاعدة القائمة على بيرت.
في السنوات الأخيرة، أثبتت نماذج اللغة المدربة مسبقا (PLM) مثل بيرت فعالة للغاية في مهام NLP المتنوعة مثل استخراج المعلومات وتحليل المعنويات والرد على الأسئلة.تدربت مع نص المجال العام الضخم، هذه النماذج اللغوية المدربة مسبقا تلتقط معلومات النحوية والد
لية والجلطة الغنية في النص.ومع ذلك، نظرا للاختلافات بين نص مجال عام ومحدد (E.G.، Wikipedia مقابل ملاحظات عيادة)، قد لا تكون هذه النماذج مثالية للمهام الخاصة بالمجال (على سبيل المثال، استخراج العلاقات السريرية).علاوة على ذلك، قد يتطلب الأمر معرفة طبية إضافية لفهم النص السريري بشكل صحيح.لحل هذه القضايا، في هذا البحث، نقوم بإجراء فحص شامل للتقنيات المختلفة لإضافة المعرفة الطبية إلى نموذج برت مدرب مسبقا لاستخراج العلاقات السريرية.تتفوق أفضل طرازنا على مجموعة بيانات استخراج الحالة الإكلينيكية من أحدث طراز I2B2 / VA 2010.
أظهرت نماذج استخراج العلاقات العصبية نتائج واعدة في السنوات الأخيرة؛ومع ذلك، فإن أداء النموذج يسقط بشكل كبير منحت فقط بعض عينات التدريب فقط.تعمل الأعمال الحديثة التي تحاول الاستفادة من التقدم في سلطة قليلة التعلم لحل مشكلة الموارد المنخفضة، حيث تقوم
بتدريب نماذج الملصقات الملائمة لمقارنة أوجه التشابه الدلالي بشكل مباشر بين جمل السياق في مساحة التضمين.ومع ذلك، فإن المعلومات التي تدرك الملصقات، أي علبة العلاقة التي تحتوي على المعرفة الدلالية المتعلقة بالعلاقة نفسها، مهملة في كثير من الأحيان للتنبؤ.في هذا العمل، نقترح إطارا للنظر في معلومات رسم الخرائط الدلالية الملمع والملصقات على حد سواء لاستخراج العلاقات المتعلقة بالموارد المنخفضة.نظهر أن دمج النوعين المذكورين أعلاه من تعيين معلومات التعيين في كلا المحالمان والضبط بشكل جيد يمكن أن يحسن بشكل كبير من أداء النموذج على مهام استخراج العلاقات المتعلقة بالموارد المنخفضة.
تهدف استخراج العلاقات الزمنية الفائقة (FINETEMPRL) إلى الاعتراف بتذكير فترات الزمن والجدول الزمني في النص.جزء مفقود في نماذج التعلم العميقة الحالية ل Finetemprel هو فشلهم في استغلال الهياكل النحوية لجمل المدخلات لإثراء ناقلات التمثيل.في هذا العمل، نق
ترح ملء هذه الفجوة من خلال إدخال طرق جديدة لإدماج الهياكل النحوية في نماذج التعلم العميق ل Finetemprel.يركز النموذج المقترح على نوعين من المعلومات النحوية من أشجار التبعية، أي عشرات الأهمية التي تستند إلى بناء الجملة لتعلم تمثيل الكلمات والاتصالات النحوية لتحديد كلمات السياق الهامة لذكر الحدث.نقدم أيضا تقنيات جديدة لتسهيل نقل المعرفة بين المهام الفرعية في Finetempr، مما يؤدي إلى نموذج جديد مع الأداء الحديث لهذه المهمة.
لتخفيف الجهود البشرية من الحصول على شروح واسعة النطاق، تهدف أساليب استخراج العلاقات شبه الإشراف إلى الاستفادة من البيانات غير المسبقة بالإضافة إلى التعلم من عينات محدودة. تعاني أساليب التدريب الذاتي الحالية من مشكلة الانجراف التدريجي، حيث يتم دمج تسم
يات زائفة صاخبة على البيانات غير المسبقة أثناء التدريب. لتخفيف الضوضاء في الملصقات الزائفة، نقترح طريقة تسمى METASRE، حيث تقوم شبكة توليد علامات العلاقة بإنشاء تقييم دقيق للجودة على التسميات الزائفة من خلال (META) التعلم من المحاولات الناجحة والفاشية على شبكة تصنيف العلاقة كهدف META إضافي. لتقليل تأثير الملصقات الزائفة الصاخبة، يعتمد METASRE مخطط استغلال ومستودعات زائفة تقيم جودة تسمية الزائفة على العينات غير المستمرة وتستغل فقط تسميات الزائفة عالية الجودة في أزياء التدريب الذاتي لزيادة العينات المصنفة بشكل تدريجي لكل من المتانة والدقة وبعد النتائج التجريبية على مجموعة بيانات عامة تثبت فعالية النهج المقترح.
استخراج العلاقات غير المدعومة من قبل أزواج كيان التجمع التي لها نفس العلاقات في النص. تقوم بعض الأساليب المتنوعة (VAE) المتنوعة (VAE) بتدريب نموذج استخراج العلاقة كترفيه يولد تصنيفات العلاقة. يتم تدريب وحدة فك الترميز جنبا إلى جنب مع التشفير لإعادة ب
ناء إدخال التشفير بناء على تصنيفات العلاقة التي يتم إنشاؤها المشن. هذه التصنيفات هي متغير كامن حتى يطلب منهم اتباع توزيع مسبق محدد مسبقا يؤدي إلى تدريب غير مستقر. نقترح تقنية استخراج العلاقات التي تعتمد عليها VAE تقوم بتغيير هذا القيد باستخدام التصنيفات كمتغير متوسط بدلا من متغير كامن. على وجه التحديد، تكون التصنيفات مشروطة بإدخال الجملة، في حين أن المتغير الكامن مشروط على كل من التصنيفات وإدخال الجملة. يتيح ذلك نموذجنا لتوصيل وحدة فك الترميز مع التشفير دون وضع قيود على توزيع التصنيف؛ الذي يحسن استقرار التدريب. يتم تقييم نهجنا على بيانات DataSet NYT وتفوق الطرق الحديثة.
النماذج الخاضعة للإشراف المستمرة تحظى بشعبية كبيرة بالنسبة لاستخراج العلاقة لأنه يمكننا الحصول على كمية كبيرة من البيانات التدريبية باستخدام طريقة الإشراف البعيدة دون شرح بشري.في الإشراف البعيد، تعتبر الجملة بمثابة مصدر Tuple إذا كانت الجملة تحتوي عل
ى كيانا من Tuple.ومع ذلك، فإن هذه الحالة متساهلة للغاية ولا يضمن وجود معلومات خاصة بالعلاقة ذات الصلة في الجملة.على هذا النحو، تحتوي بيانات التدريب الإشراف على الكثير من الضوضاء التي تؤثر سلبا على أداء النماذج.في هذه الورقة، نقترح آلية تصفية الفرقة الذاتية لتصفية العينات الصاخبة أثناء عملية التدريب.نقيم إطار عملنا المقترح في مجموعة بيانات نيويورك تايمز التي تم الحصول عليها عبر إشراف بعيد.تجاربنا مع العديد من نماذج استخراج العلاقات العصبية متعددة الحديثة تظهر أن آلية التصفية المقترحة تعمل على تحسين متانة النماذج ويزيد من درجات F1 الخاصة بهم.
استخراج العلاقات هو الترجمة الفرعية لمعالجة Langage الطبيعية التي شهدت العديد من التحسينات في السنوات الأخيرة، مع ظهور البنية المعقدة المدربة مسبقا. يتم اختبار العديد من هذه النهج من هذه النهج من المعايير مع الجمل المسماة التي تحتوي على كيانات الموسو
مة، وتتطلب التدريب المسبق الهامة والضبط بشكل جيد على البيانات الخاصة بالمهام. ومع ذلك، في سيناريو حقيقي للاستخدام، مثل في شركة صحيفة في الغالب مخصصة لمعلومات المحلية، فإن العلاقات هي من نوع متنوع للغاية، مع عدم وجود بيانات مشروح تقريبا لمثل هذه العلاقات، والعديد من الكيانات تعاني في جملة دون أن تكون ذات صلة. نشكك في استخدام النماذج الإشرفة من أحدث النماذج في هذا السياق، حيث توجد موارد مثل الوقت والحوسبة وقوة الحوسبة والنحاذج البشرية محدودة. للتكيف مع هذه القيود، نقوم بتجربة خط أنابيب استخراج التعلم في التعلم النشط، وتتألف من نموذج خفيف الوزن يستند إلى LSTM ثنائي للكشف عن العلاقات الموجودة، ونموذج أحدث لتصنيف العلاقة. قارن العديد من الخيارات لنماذج التصنيف في هذا السيناريو، من الكلمة الأساسية لتضمين المتوسط، على الرسم البياني للشبكات العصبية وتلك القائمة على برت، وكذلك العديد من استراتيجيات الاستحواذ النشطة للتعلم، من أجل إيجاد نهج الأكثر كفاءة من حيث التكلفة ولكن دقيقة في موقعنا أكبر حالة استخدام شركة صحيفة صحيفة الفرنسية.
