ترغب بنشر مسار تعليمي؟ اضغط هنا

تتعلم باستمرار، وتعميم بسرعة: تراكم المعرفة مدى الحياة للحصول على عدد قليل من التعلم

Learn Continually, Generalize Rapidly: Lifelong Knowledge Accumulation for Few-shot Learning

611   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

القدرة على توسيع المعرفة باستمرار مع مرور الوقت واستخدامها للتعميم السريع للمهام الجديدة هي سمة رئيسية لاستخبارات اللغوية البشرية. ومع ذلك، فإن النماذج الموجودة التي تتابع التعميم السريع لمهام جديدة (على سبيل المثال، طرق تعلم قليلة بالرصاص) تتدرب في الغالب في طلقة واحدة على مجموعات البيانات الثابتة، غير القادرة على توسيع معارفها ديناميكيا؛ في حين أن خوارزميات التعلم المستمرة ليست مصممة خصيصا للتعميم السريع. نقدم إعداد تعليمي جديد، وتعلم مستمر لمتعلمي القليل من الأخطاء (CLIF)، لمعالجة تحديات كلا من إعدادات التعلم في إعداد موحد. يفترض CLIF نموذجا يتعلم من سلسلة من مهام NLP المتنوعة التي تصل بالتتابع، وتراكم المعرفة لتحسين التعميم إلى مهام جديدة، مع الحفاظ أيضا على الأداء على المهام المستفادة في وقت سابق. ندرس كيف تتأثر قدرة تعميم التعميم في إعداد التعلم المستمر، وتقييم عدد من خوارزميات التعلم المستمرة، واقتراح نهج جيل محول منتظمت جديد. نجد أن النسيان الكارثي يؤثر على قدرة التعميم على درجة أقل من الأداء في المهام المشاهدة؛ في حين أن خوارزميات التعلم المستمرة لا تزال تحقق فائدة كبيرة لقدرة التعميم.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

يمكن للبشر التمييز بين فئات جديدة بكفاءة للغاية مع عدد قليل من الأمثلة، إلى حد كبير بسبب حقيقة أن البشر يمكنهم الاستفادة من المعرفة التي تم الحصول عليها من المهام ذات الصلة.ومع ذلك، يميل نموذج تصنيف النص في التعلم العميق إلى الكفاح لتحقيق أداء مرض عن دما تكون البيانات المسمى نادرة.مستوحاة من الذكاء البشري، نقترح تقديم المعرفة الخارجية إلى سلطة قليلة التعلم لتقليد المعرفة الإنسانية.يتم التحقيق في شبكة مولدات المعلمة الرواية بهذا الغاية، والتي تتمكن من استخدام المعرفة الخارجية لتوليد مقاييس مختلفة لمهام مختلفة.المسلحة مع هذه الشبكة، يمكن لمهام مماثلة استخدام مقاييس مماثلة في حين تستخدم المهام المختلفة مقاييس مختلفة.من خلال التجارب، نوضح أن أسلوبنا تتفوق على نماذج تصنيف النص القليلة لقلة سوتا.
تعتمد معالجة اللغة الطبيعية (NLP) بشكل متزايد على الأنظمة العامة المناسبة التي تحتاج إلى التعامل مع العديد من الظواهر اللغوية المختلفة والفروق الدقيقة. على سبيل المثال، يتعين على نظام الاستدلال باللغة الطبيعية (NLI) أن يتعرف على المعنويات، والتعامل م ع الأرقام، وإجراء حلول، وما إلى ذلك. لا تزال حلولنا للمشاكل المعقدة بعيدة عن الكمال، لذلك من المهم إنشاء أنظمة يمكن أن تتعلم تصحيح الأخطاء بسرعة، تدريجيا، ومع القليل من البيانات التدريبية. في هذا العمل، نقترح مهمة التعلم القليلة المستمرة (CFL)، حيث يتم الطعن للنظام بظاهرة صعبة وطلب منهم أن يتعلموا تصحيح الأخطاء مع أمثلة تدريبية فقط (10 إلى 15). تحقيقا لهذه الغاية، نقوم أولا بإنشاء معايير بناء على البيانات المشروحة مسبقا: DetaSets NLI (Anli and Snli) ومجموعات بيانات تحليل المشاعر (IMDB). بعد ذلك، نقدم خطوط أساس مختلفة من النماذج المتنوعة (على سبيل المثال، أخطاقات علم الذاكرة والشبكات النموذجية) ومقارنتها في التعلم القليل من الطلقات والكم من إعدادات التعلم القليلة المستمرة. إن مساهماتنا هي في إنشاء بروتوكول جناح وتقييم معيار لاستمرار التعلم القليل من الرصاص حول مهام تصنيف النص، وعمل العديد من الملاحظات المثيرة للاهتمام حول سلوك الأساليب القائمة على التشابه. نأمل أن يعمل عملنا كنقطة انطلاق مفيدة للعمل في المستقبل على هذا الموضوع الهام.
البشر قادرون على تعلم مفاهيم جديدة من أمثلة قليلة جدا؛ في المقابل، تحتاج خوارزميات التعلم في الآلة الحديثة عادة الآلاف من الأمثلة للقيام بذلك. في هذه الورقة، نقترح خوارزمية لتعلم مفاهيم جديدة من خلال تمثيلها كبرامج بشأن المفاهيم القائمة. وبهذه الطريق ة، تعتبر مشكلة التعلم المفهوم بشكل طبيعي مشكلة تخليق برنامجا وتخصصت خوارزميةنا من بعض الأمثلة لتوليف برنامج يمثل مفهوم الرواية. بالإضافة إلى ذلك، نقوم بإجراء تحليل نظري لنهجنا للقضية التي يكون فيها البرنامج الذي يحدد مفهوم الرواية على تلك الموجودة خالية من السياق. نظهر أنه بالنظر إلى المحلل المحلل القائم على النحو المستفاد وقاعدة الإنتاج الجديدة، يمكننا زيادة المحلل بمحلل مع قاعدة الإنتاج بطريقة تعميم. نقيم نهجنا من خلال مفاهيم التعلم في مجال التحليل الدلالي الممتد إلى إعداد تعلم مفهوم الرواية القليلة، مما يظهر أن نهجنا يتفوق بشكل كبير على المحللين الدلالي العصبي المنتهي.
تم اقتراح التعلم التلوي مؤخرا لتعلم النماذج والخوارزميات التي يمكن أن تعميمها من حفنة من الأمثلة.ومع ذلك، فإن تطبيقات التنبؤ الهيكلية والمهام النصية تشكل تحديات لخوارزميات التعلم التلوي.في هذه الورقة، نحن نطبق اثنين من خوارزميات التعلم التلوي، والشبك ات النموذجية والزواحف الزواحف، إلى عدد قليل من الرصاص التعرف على الكيان (NER)، بما في ذلك طريقة لإدماج نموذج اللغة قبل التدريب والحقول العشوائية الشرطية (CRF).نقترح خطة توليد المهام لتحويل مجموعات بيانات NER الكلاسيكية إلى إعداد القليل من الرصاص، لكل من التدريب والتقييم.باستخدام ثلاث مجموعات بيانات عامة، نظهر أن خوارزميات التعلم التلوي هذه تفوق خطاس بخبراء ذو صقل معقول.بالإضافة إلى ذلك، نقترح مزيجا جديدا من الشبكات النموذجية والزواحف.
يفترض العمل الحالي على تصنيف نطق الكراهية الآلي أن DataSet ثابتة ويتم تعريف الفصول الدراسية مسبقا.ومع ذلك، فإن مقدار البيانات في وسائل التواصل الاجتماعي يزيد كل يوم، وتتغير الموضوعات الساخنة بسرعة، مما يتطلب من المصنفين أن تكون قادرة على التكيف باستم رار مع البيانات الجديدة دون أن ننسى المعرفة المستفادة مسبقا.هذه القدرة، المشار إليها باسم التعلم مدى الحياة، أمر حاسم لتطبيق الكلمة الحقيقية من مصنف الكلاب الكراهية في وسائل التواصل الاجتماعي.في هذا العمل، نقترح التعلم مدى الحياة لتصنيف الكلام الكراهية على وسائل التواصل الاجتماعي.لتخفيف النسيان الكارثي، نقترح استخدام تعليم التمثيل التغيرات (VRL) جنبا إلى جنب مع وحدة الذاكرة المستندة إلى LB-Soinn (توازن الحركة النمو الذاتي التزايدي التزايدي).تجريبيا، نظهر أن الجمع بين التعلم التمثيل التغيرات ووحدة الذاكرة LB-Soinn يحقق أداء أفضل من تقنيات التعلم مدى الحياة المستخدمة بشكل شائع.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا