ترغب بنشر مسار تعليمي؟ اضغط هنا

التعلم الموجه المرشد من المعرفة للحصول على تصنيفات نصية قليلة

Knowledge Guided Metric Learning for Few-Shot Text Classification

322   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يمكن للبشر التمييز بين فئات جديدة بكفاءة للغاية مع عدد قليل من الأمثلة، إلى حد كبير بسبب حقيقة أن البشر يمكنهم الاستفادة من المعرفة التي تم الحصول عليها من المهام ذات الصلة.ومع ذلك، يميل نموذج تصنيف النص في التعلم العميق إلى الكفاح لتحقيق أداء مرض عندما تكون البيانات المسمى نادرة.مستوحاة من الذكاء البشري، نقترح تقديم المعرفة الخارجية إلى سلطة قليلة التعلم لتقليد المعرفة الإنسانية.يتم التحقيق في شبكة مولدات المعلمة الرواية بهذا الغاية، والتي تتمكن من استخدام المعرفة الخارجية لتوليد مقاييس مختلفة لمهام مختلفة.المسلحة مع هذه الشبكة، يمكن لمهام مماثلة استخدام مقاييس مماثلة في حين تستخدم المهام المختلفة مقاييس مختلفة.من خلال التجارب، نوضح أن أسلوبنا تتفوق على نماذج تصنيف النص القليلة لقلة سوتا.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

القدرة على توسيع المعرفة باستمرار مع مرور الوقت واستخدامها للتعميم السريع للمهام الجديدة هي سمة رئيسية لاستخبارات اللغوية البشرية. ومع ذلك، فإن النماذج الموجودة التي تتابع التعميم السريع لمهام جديدة (على سبيل المثال، طرق تعلم قليلة بالرصاص) تتدرب في الغالب في طلقة واحدة على مجموعات البيانات الثابتة، غير القادرة على توسيع معارفها ديناميكيا؛ في حين أن خوارزميات التعلم المستمرة ليست مصممة خصيصا للتعميم السريع. نقدم إعداد تعليمي جديد، وتعلم مستمر لمتعلمي القليل من الأخطاء (CLIF)، لمعالجة تحديات كلا من إعدادات التعلم في إعداد موحد. يفترض CLIF نموذجا يتعلم من سلسلة من مهام NLP المتنوعة التي تصل بالتتابع، وتراكم المعرفة لتحسين التعميم إلى مهام جديدة، مع الحفاظ أيضا على الأداء على المهام المستفادة في وقت سابق. ندرس كيف تتأثر قدرة تعميم التعميم في إعداد التعلم المستمر، وتقييم عدد من خوارزميات التعلم المستمرة، واقتراح نهج جيل محول منتظمت جديد. نجد أن النسيان الكارثي يؤثر على قدرة التعميم على درجة أقل من الأداء في المهام المشاهدة؛ في حين أن خوارزميات التعلم المستمرة لا تزال تحقق فائدة كبيرة لقدرة التعميم.
تعتمد معالجة اللغة الطبيعية (NLP) بشكل متزايد على الأنظمة العامة المناسبة التي تحتاج إلى التعامل مع العديد من الظواهر اللغوية المختلفة والفروق الدقيقة. على سبيل المثال، يتعين على نظام الاستدلال باللغة الطبيعية (NLI) أن يتعرف على المعنويات، والتعامل م ع الأرقام، وإجراء حلول، وما إلى ذلك. لا تزال حلولنا للمشاكل المعقدة بعيدة عن الكمال، لذلك من المهم إنشاء أنظمة يمكن أن تتعلم تصحيح الأخطاء بسرعة، تدريجيا، ومع القليل من البيانات التدريبية. في هذا العمل، نقترح مهمة التعلم القليلة المستمرة (CFL)، حيث يتم الطعن للنظام بظاهرة صعبة وطلب منهم أن يتعلموا تصحيح الأخطاء مع أمثلة تدريبية فقط (10 إلى 15). تحقيقا لهذه الغاية، نقوم أولا بإنشاء معايير بناء على البيانات المشروحة مسبقا: DetaSets NLI (Anli and Snli) ومجموعات بيانات تحليل المشاعر (IMDB). بعد ذلك، نقدم خطوط أساس مختلفة من النماذج المتنوعة (على سبيل المثال، أخطاقات علم الذاكرة والشبكات النموذجية) ومقارنتها في التعلم القليل من الطلقات والكم من إعدادات التعلم القليلة المستمرة. إن مساهماتنا هي في إنشاء بروتوكول جناح وتقييم معيار لاستمرار التعلم القليل من الرصاص حول مهام تصنيف النص، وعمل العديد من الملاحظات المثيرة للاهتمام حول سلوك الأساليب القائمة على التشابه. نأمل أن يعمل عملنا كنقطة انطلاق مفيدة للعمل في المستقبل على هذا الموضوع الهام.
حقق التعلم التلوي نجاحا كبيرا في الاستفادة من المعرفة المستفادة التاريخية لتسهيل عملية التعلم المهمة الجديدة.ومع ذلك، فإن تعلم معرفة المهام التاريخية، التي اعتمدتها خوارزميات التعلم التلوي الحالية، قد لا تعميم بشكل جيد للاختبار المهام عندما لا تكون م دعومة جيدا بمهام التدريب.تدرس هذه الورقة مشكلة تصنيف النص المنخفض للموارد ويزيد الفجوة بين مهام اختبار التوطين والاختبار التلوي من خلال الاستفادة من قواعد المعرفة الخارجية.على وجه التحديد، نقترح KGML لإدخال تمثيل إضافي لكل جملة مستفادة من الرسم البياني المعرفي الخاص بالحكم الجملة المستخرجة.توضح التجارب الواسعة على ثلاثة مجموعات بيانات فعالية KGML تحت كلا من إعدادات التكيف والإشراف غير المدفوع.
نحن نتطلع إلى تحيز أخذ العينات والقضايا الخارجية في عدد قليل من التعلم عن اكتشاف الحدث، وهو متعقب فرعي لاستخراج المعلومات.نقترح نموذج العلاقات بين المهام التدريبية في التعلم القليل من الرصاص البارز من خلال إدخال نماذج النماذج عبر المهام.ونحن نقترح كذ لك فرض اتساق التنبؤ بين المصنفين عبر المهام لجعل النموذج أكثر قوة على القيم المتطرفة.تظهر تجربتنا الواسعة تحسنا ثابتا على ثلاث مجموعات من مجموعات بيانات التعلم قليلة.تشير النتائج إلى أن نموذجنا هو أكثر قوة عند وصف بيانات المسمى لأنواع الأحداث الرواية محدودة.يتوفر شفرة المصدر على http://github.com/laiviet/fsl-proact.
يهدف التعلم التعريف إلى تحسين قدرات النموذج على تعميم المهام والمجالات الجديدة. منعت عدم وجود طريقة فعالة للبيانات لإنشاء مهام التدريب META قد منع تطبيق التعلم التلوي لسيناريوهات التعلم القليلة في العالم الحقيقي. اقترحت الدراسات الحديثة مناهج غير مده ونة لإنشاء مهام تدريبية من البيانات غير المستدامة مجانا، على سبيل المثال، طريقة SMLMT (BANSAL et al.، 2020a) تقوم بمهام تصنيف متعددة الطبقات غير المعروضة من النص غير المستعود من خلال إخفاء الكلمات بشكل عشوائي في الجملة و دع Meta Learner يختار أي كلمة لملء الفراغ. تقترح هذه الدراسة نهجا تعليميا شبه إشرافه يشتمل على كل من قوة تمثيل النماذج اللغوية المدربة مسبقا مسبقا وقدرة التعميم على الشبكات النموذجية المعززة من قبل SMLMT. يتجنب نهج التدريب المنوي شبه المشرف على الشبكات النموذجية الجائرة على عدد صغير من أمثلة التدريب المسمى وسرعة يتعلم التمثيل الخاص بمهام المهام عبر المجال فقط من بعض الأمثلة الداعمة. من خلال دمج SMLMT مع الشبكات النموذجية، تعميم المتعلم التعريف بشكل أفضل من المجالات غير المرئية وتحقق دقة أعلى على الأمثلة خارج النطاق دون رفع ما قبل التدريب. نلاحظ تحسنا كبيرا في تعميم القليل من اللقطات بعد التدريب فقط على عدد قليل من العصر على مهام تصنيف النوايا التي تم تقييمها في إعداد متعدد المجالات.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا