ترغب بنشر مسار تعليمي؟ اضغط هنا

وحدات الإشراف الذاتي لاستخراج العلاقة على مستوى المستند

Modular Self-Supervision for Document-Level Relation Extraction

353   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

لقد تم استخراج العلاقات عبر مجموعة نصية كبيرة غير مستمدة نسبيا في NLP، لكنه مهم للغاية بالنسبة لمجالات عالية القيمة مثل الطب الحيوي، حيث يكون الحصول على استدعاء عالية من أحدث النتائج أمر حاسم للتطبيقات العملية. بالمقارنة مع استخراج المعلومات التقليدية المحصورة على تمديد النص القصير، فإن استخراج العلاقات على مستوى المستند يواجه تحديات إضافية في كل من الاستدلال والتعلم. وبالنظر إلى تمديدات نصية أطول، فإن الهندسة العصبية الحديثة هي الإشراف الذاتي الأقل فعالية ومحددة المهام مثل الإشراف البعيد يصبح صاخبا جدا. في هذه الورقة، نقترح انحلال استخراج العلاقات على مستوى الوثيقة في الدقة المتعلقة بالكشف عن العلاقة والحجة، مما أدى إلى إلهام من دلالات ديفيدسون. تمكننا هذا من دمج نماذج الخطاب الصريحة والاستفادة من الإشراف الذاتي المعياري لكل مشكلة فرعية، وهو أقل عرضة للضوضاء ويمكن أن يكون مزيدا من النهايات المكررة عبر التباين. نقوم بإجراء تقييم شامل في قراءة الآلة الطبية الحيوية لعلم الأورام الدقيقة، حيث تذكر علاقة الفقرة الشاملة سائدة. تتفوق طريقةنا على الدولة السابقة للفن، مثل التعلم متعدد النطاق والشبكات العصبية الرسمية، بأكثر من 20 نقطة F1 المطلقة. وانطبق الربح بشكل خاص بين أكثر حالات العلاقات الأكثر تحديا التي لا تحدث حججها في فقرة.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

استخراج العلاقات على مستوى المستند يهدف إلى تحديد العلاقات بين الكيانات في وثيقة كاملة. اعتمدت الجهود السابقة لالتقاط التبعيات البعيدة المدى اعتمادا كبيرا على تمثيلات قوية ضمنيا تعلمت من خلال (الرسم البياني) الشبكات العصبية، مما يجعل النموذج أقل شفاف ية. لمعالجة هذا التحدي، في هذه الورقة، نقترح Logire، نموذج احتمالي رواية لاستخراج العلاقة على مستوى المستند من خلال قواعد المنطق التعلم. يعامل Logire القواعد المنطقية مثل المتغيرات الكامنة وتتكون من وحدات اثنين: مولد القاعدة واستخراج العلاقة. إن مولد القاعدة هو توليد قواعد المنطق التي يحتمل أن تسهم في التنبؤات النهائية، ونضول النازع العلاقة تنبؤات نهائية بناء على قواعد المنطق التي تم إنشاؤها. يمكن تحسين هاتين الوحداتتين بكفاءة مع خوارزمية التوقعات (EM). من خلال إدخال القواعد المنطقية في الشبكات العصبية، يمكن ل Rogire أن تلتقط الصريح التبعيات طويلة المدى وكذلك الاستمتاع بتفسير أفضل. تظهر النتائج التجريبية أن تتفوق بشكل كبير على العديد من خطوط الأساس القوية من حيث الأداء العلاقة والاتساق المنطقي. يتوفر الكود الخاص بنا في https://github.com/rudongyu/logire.
استخراج الأحداث على مستوى المستند أمر بالغ الأهمية لمختلف مهام معالجة اللغة الطبيعية لتوفير معلومات منظمة.النهج الحالية عن طريق النمذجة المتسلسلة إهمال الهياكل المنطقية المعقدة للنصوص الطويلة.في هذه الورقة، نستفيد بين تفاعلات الكيان وتفاعلات الجملة خ لال المستندات الطويلة وتحويل كل وثيقة إلى رسم بياني غير مرمى غير مسبهب من خلال استغلال العلاقة بين الجمل.نقدم مجتمع الجملة لتمثيل كل حدث كشركة فرعية.علاوة على ذلك.توضح التجارب أن إطارنا يحقق نتائج تنافسية على الأساليب الحديثة على مجموعة بيانات استخراج الأحداث على مستوى الوثيقة على نطاق واسع.
إن استخراج العلاقات على مستوى المستند هو مهمة صعبة، تتطلب التفكير في جمل متعددة للتنبؤ بمجموعة من العلاقات في وثيقة.في هذه الورقة، نقترح إطار رواية E2GRE (الكيان والأدلة استخراج التعادل الموجود) التي تستخرج العلاقات بشكل مشترك وعمليات الأدلة الأساسية باستخدام نموذج اللغة المسبق الكبير (LM) كمشفر مدخلات.أولا، نقترح توجيه آلية انتباه LM مسبقا للتركيز على السياق ذي الصلة باستخدام احتمالات الاهتمام كميزات إضافية لتنبؤ الأدلة.علاوة على ذلك، بدلا من إطعام المستند بأكمله إلى LMS محداس للحصول على تمثيل كيان، نسلسل نص المستندات مع كيانات رئيسية للمساعدة في تركيز LMS على أجزاء من الوثيقة التي ترتبط أكثر بكيان الرأس.تتعلم E2GRE لدينا بشكل مشترك استخراج العلاقة والتنبؤ بالأدلة بفعالية، مما يدل على مكاسب كبيرة على كل من هذه المهام، والتي نجدها مرتبطة بشدة.
تتطلب شبكات العصبية العميقة الحديثة من بين الفن بيانات تدريبية ذات صلة واسعة النطاق غالبا ما تكون مكلفة للحصول على أو غير متوفرة للعديد من المهام. لقد ثبت أن الإشراف ضعيف في شكل قواعد خاصة بالمجال مفيدا في مثل هذه الإعدادات لإنشاء بيانات التدريب المس مى ضعيف. ومع ذلك، فإن التعلم مع القواعد الضعيفة يتحدى بسبب طبيعته المهمة والصاخبة المتأصلة. تحدي إضافي هو تغطية القاعدة والتداخل، حيث يعتبر العمل المسبق على الإشراف الضعيف فقط الحالات التي تغطيها قواعد ضعيفة، وبالتالي تاركة بيانات قيمة غير مسفدة وراءها. في هذا العمل، نطور إطارا ضعيفا للإشراف (Astra) الذي يرفع جميع البيانات المتاحة لمهمة معينة. تحقيقا لهذه الغاية، نستفيد البيانات الخاصة بمهارات العمل من خلال التدريب الذاتي مع نموذج (الطالب) الذي يعتبر تمثيلات السياق ويتوقع التسميات الزائفة على الحالات التي قد لا تغطيها قواعد ضعيفة. ونحن نضع كذلك شبكة انتباه القاعدة (المعلم) التي تتعلم كيفية إجمالي الملصقات الزائفة الطلابية مع ملصقات القاعدة الضعيفة، مشروطة بإخلاصها والسياق الأساسي للمثيل. أخيرا، نقوم بإنشاء هدف تعليمي شبه إشراف للتدريب المنتهي بالبيانات غير المستمرة والقواعد الخاصة بالمجال، وكمية صغيرة من البيانات المسمى. توضح تجارب واسعة على ستة مجموعات بيانات قياسية لتصنيف النص فعالية نهجنا مع تحسينات كبيرة على خطوط الأساس الحديثة.
لتخفيف الجهود البشرية من الحصول على شروح واسعة النطاق، تهدف أساليب استخراج العلاقات شبه الإشراف إلى الاستفادة من البيانات غير المسبقة بالإضافة إلى التعلم من عينات محدودة. تعاني أساليب التدريب الذاتي الحالية من مشكلة الانجراف التدريجي، حيث يتم دمج تسم يات زائفة صاخبة على البيانات غير المسبقة أثناء التدريب. لتخفيف الضوضاء في الملصقات الزائفة، نقترح طريقة تسمى METASRE، حيث تقوم شبكة توليد علامات العلاقة بإنشاء تقييم دقيق للجودة على التسميات الزائفة من خلال (META) التعلم من المحاولات الناجحة والفاشية على شبكة تصنيف العلاقة كهدف META إضافي. لتقليل تأثير الملصقات الزائفة الصاخبة، يعتمد METASRE مخطط استغلال ومستودعات زائفة تقيم جودة تسمية الزائفة على العينات غير المستمرة وتستغل فقط تسميات الزائفة عالية الجودة في أزياء التدريب الذاتي لزيادة العينات المصنفة بشكل تدريجي لكل من المتانة والدقة وبعد النتائج التجريبية على مجموعة بيانات عامة تثبت فعالية النهج المقترح.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا