ترغب بنشر مسار تعليمي؟ اضغط هنا

Mapre: نهج رسم خرائط فعال للدلية لاستخراج علاقة الموارد المنخفضة

MapRE: An Effective Semantic Mapping Approach for Low-resource Relation Extraction

310   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أظهرت نماذج استخراج العلاقات العصبية نتائج واعدة في السنوات الأخيرة؛ومع ذلك، فإن أداء النموذج يسقط بشكل كبير منحت فقط بعض عينات التدريب فقط.تعمل الأعمال الحديثة التي تحاول الاستفادة من التقدم في سلطة قليلة التعلم لحل مشكلة الموارد المنخفضة، حيث تقوم بتدريب نماذج الملصقات الملائمة لمقارنة أوجه التشابه الدلالي بشكل مباشر بين جمل السياق في مساحة التضمين.ومع ذلك، فإن المعلومات التي تدرك الملصقات، أي علبة العلاقة التي تحتوي على المعرفة الدلالية المتعلقة بالعلاقة نفسها، مهملة في كثير من الأحيان للتنبؤ.في هذا العمل، نقترح إطارا للنظر في معلومات رسم الخرائط الدلالية الملمع والملصقات على حد سواء لاستخراج العلاقات المتعلقة بالموارد المنخفضة.نظهر أن دمج النوعين المذكورين أعلاه من تعيين معلومات التعيين في كلا المحالمان والضبط بشكل جيد يمكن أن يحسن بشكل كبير من أداء النموذج على مهام استخراج العلاقات المتعلقة بالموارد المنخفضة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تهدف استخراج العلاقات المنخفضة الموارد (LRE) إلى استخراج حقائق العلاقة من كورسا محدودة المسمى عندما تشريح الإنسان نادرة. تعمل الأعمال الموجودة إما استخدام مخطط التدريب الذاتي لتوليد ملصقات زائفة ستتسبب في مشكلة الانجراف التدريجي، أو نظام التعلم التلو ي الاستفادي الذي لا يتطلب التغيلات بشكل صريح. لتخفيف التحيز الاختيار بسبب عدم وجود حلقات ردود الفعل في نماذج التعلم الحالية، قمنا بتطوير طريقة تعليمية لتعزيز التعزيز التدرج لتشجيع بيانات الملصقات الزائفة لتقليد اتجاه نزول التدرج على البيانات المسمى و Bootstrap إمكانية التحسين من خلال التجربة والخطأ. نقترح أيضا إطارا يسمى Gradlre، الذي يتعامل مع سيناريوهات رئيسيين في استخراج علاقة الموارد المنخفضة. إلى جانب السيناريو حيث تكون البيانات غير المسبقة كافية، يتعامل Gradlre الموقف حيث لا تتوفر بيانات غير قابلة للتحقيق، من خلال استغلال طريقة تكبير سياقيا لتوليد البيانات. النتائج التجريبية على مجموعات بيانات عامة تثبت فعالية الخريجين في استخراج العلاقات المنخفضة للموارد عند مقارنة مع الأساس.
أصبح أكبر انفجار أفضل في عدد المعلمات في الشبكات العصبية العميقة جعلته صعبة بشكل متزايد لجعل الشبكات الحديثة التي يمكن الوصول إليها في البيئات المقيدة لحسابها. أخذت تقنيات ضغط الأهمية المتجددة كوسيلة لسد الفجوة. ومع ذلك، فإن تقييم المفاضلات المتكبدة من خلال تقنيات الضغط الشعبية قد تركزت على مجموعات بيانات عالية الموارد. في هذا العمل، نعتبر بدلا من ذلك تأثير الضغط في نظام محدود من البيانات. نقدم مصطلح رابط مزدوج الموارد المنخفضة للإشارة إلى حدوث قيود البيانات ويحسب قيود الموارد. هذا هو إعداد شائع لبرنامج NLP لغات الموارد المنخفضة، ومع ذلك، تتم دراسة المفاضلات في الأداء بشكل سيء. يقدم عملنا رؤى مفاجئة في العلاقة بين القدرات والتعميم في الأنظمة المحدودة البيانات لمهمة الترجمة الآلية. تجاربنا على حجم تشذيب الترجمات من الإنجليزية إلى يوروبا، هاوسا، إغيبو وألماني تظهر أنه في أنظمة الموارد المنخفضة، تحافظ Sparsity على أداء على جمل متكررة ولكن لها تأثير متباين على النادر. ومع ذلك، فإنه يعمل على تحسين نوبات التوزيع، وخاصة بالنسبة لمجموعات البيانات المميزة للغاية عن توزيع التدريب. تشير نتائجنا إلى أن Sparsity يمكن أن تلعب دورا مفيدا في الحد من حفظ سمات التردد المنخفضة، وبالتالي يقدم حلا واعدا للربط المزدوج الموارد المنخفضة.
في هذه الورقة، نستكشف مقاربة عصبية بسيطة للغاية لتعيين تقويم الإملاءات إلى النسخ الصوتي في سياق منخفض الموارد.الفكرة الأساسية هي البدء من نظام أساسي وتركيز جميع الجهود بشأن تكبير البيانات.سوف نرى أن بعض التقنيات تعمل، ولكن البعض الآخر لا.
يمكن فهم لغات الموارد المنخفضة كنغات أكثر شحيحة، وأقل دراستها، أقل امتيازا، أقل شيوعا، والتي تكون أقل شيوعا والتي توجد فيها موارد أقل (Singh، 2008؛ Cieri et al.، 2016؛ Magueresse et al.، 2020) وبعد يركز البحث والتكنولوجيا لمعالجة اللغة الطبيعية (NLP) بشكل أساسي على تلك اللغات التي توجد بها مجموعات بيانات كبيرة متاحة. لتوضيح الاختلافات في توافر البيانات: هناك 6 ملايين مقالة في ويكيبيديا المتاحة للغة الإنجليزية، 2 مليون للهولندية، ومجرد 82 ألف للألبانية. تصبح قضية البيانات الشحيحة واضحة بشكل متزايد عندما تكون مجموعات البيانات المتوازية الكبيرة مطلوبة للتطبيقات مثل الترجمة الآلية العصبية (NMT). في هذا العمل، يمكننا التحقيق في أي مدى من الممكن الترجمة بين الألبانية (SQ) والهولندية (NL) مقارنة نموذج واحد إلى واحد (SQ↔AL)، نهج يستند إلى موارد منخفضة الموارد (الإنجليزية (EN) Pivot) والترجمة الصفرية بالرصاص (ZST) (جونسون وآخرون، 2016؛ نظام ماتوني وآخرون.، 2017). من تجاربنا، فإنه ينتج عن تفوق نموذج EN-PIVOT على حد سواء من طراز Zst المباشر. منذ غالبا ما تكون كميات صغيرة من البيانات الموازية متاحة لغات الموارد المنخفضة أو الإعدادات المنخفضة، أجريت التجارب باستخدام مجموعات صغيرة من بيانات NL↔SQ الموازية. بدا أن Zst هو أسوأ نماذج أداء. حتى عندما تمت إضافة البيانات الموازية المتاحة (nl↔sq)، أي في إعداد قليل من اللقطة (FST)، ظلت أسوأ نظام أداء وفقا ل Automatic (Bleu and Ter) والتقييم البشري.
تعتمد نماذج التلخيص المبخرية للحديث عن الفن بشكل عام على بيانات مسامحة واسعة النطاق، مما أدنى من قدرة تعميمها على المجالات التي لا تتوفر فيها هذه البيانات. في هذه الورقة، نقدم دراسة لتكييف المجال لمهمة تلخيص الجماع عبر ست مجالات مستهدفة متنوعة في إعد اد الموارد المنخفضة. على وجه التحديد، نقوم بالتحقيق في المرحلة الثانية من التدريب المسبق على النماذج الإدارية على نطاق واسع تحت ثلاثة إعدادات مختلفة: 1) التدريب قبل التدريب مسبقا؛ 2) ما قبل التكيف مع المجال و 3) ما قبل التدرب في المهام. تشير التجارب إلى أن فعالية التدريب المسبق مرتبط مع التشابه بين بيانات ما قبل التدريب ومهمة المجال المستهدف. علاوة على ذلك، نجد أن التدريب المستمر المستمر يمكن أن يؤدي إلى النسيان الكارثي في ​​النموذج المدرب مسبقا، وسيلة التعلم ذات النسيان الأقل يمكن تخفيف هذه المشكلة. علاوة على ذلك، توضح النتائج أن الفجوة الضخمة لا تزال موجودة بين إعدادات الموارد المنخفضة والموارد عالية، والتي تبرز الحاجة إلى طرق تكيف مجال أكثر تقدما لمهمة تلخيص التلخيص.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا