تعتمد معالجة اللغة الطبيعية (NLP) بشكل متزايد على الأنظمة العامة المناسبة التي تحتاج إلى التعامل مع العديد من الظواهر اللغوية المختلفة والفروق الدقيقة. على سبيل المثال، يتعين على نظام الاستدلال باللغة الطبيعية (NLI) أن يتعرف على المعنويات، والتعامل م
ع الأرقام، وإجراء حلول، وما إلى ذلك. لا تزال حلولنا للمشاكل المعقدة بعيدة عن الكمال، لذلك من المهم إنشاء أنظمة يمكن أن تتعلم تصحيح الأخطاء بسرعة، تدريجيا، ومع القليل من البيانات التدريبية. في هذا العمل، نقترح مهمة التعلم القليلة المستمرة (CFL)، حيث يتم الطعن للنظام بظاهرة صعبة وطلب منهم أن يتعلموا تصحيح الأخطاء مع أمثلة تدريبية فقط (10 إلى 15). تحقيقا لهذه الغاية، نقوم أولا بإنشاء معايير بناء على البيانات المشروحة مسبقا: DetaSets NLI (Anli and Snli) ومجموعات بيانات تحليل المشاعر (IMDB). بعد ذلك، نقدم خطوط أساس مختلفة من النماذج المتنوعة (على سبيل المثال، أخطاقات علم الذاكرة والشبكات النموذجية) ومقارنتها في التعلم القليل من الطلقات والكم من إعدادات التعلم القليلة المستمرة. إن مساهماتنا هي في إنشاء بروتوكول جناح وتقييم معيار لاستمرار التعلم القليل من الرصاص حول مهام تصنيف النص، وعمل العديد من الملاحظات المثيرة للاهتمام حول سلوك الأساليب القائمة على التشابه. نأمل أن يعمل عملنا كنقطة انطلاق مفيدة للعمل في المستقبل على هذا الموضوع الهام.
يمكن للبشر تعلم مهمة لغة جديدة بكفاءة مع عدد قليل فقط من الأمثلة، من خلال الاستفادة من معارفهم التي تم الحصول عليها عند تعلم المهام السابقة. في هذه الورقة، نستكشف ما إذا كان يمكن الحصول على قدرة تعميم المهام عبر المهام المباشرة، وتطبيقها بشكل أكبر عل
ى بناء عدد قليل من المتعلمين لقلة طلقات عبر مهام NLP المتنوعة. نقدم Crossfit، وهي إعداد مشكلة في دراسة قدرة تعميم المهام عبر المهام، والتي توحد من أقسام المهام / غير المرئية، والوصول إلى البيانات أثناء مراحل التعلم المختلفة، وبروتوكولات التقييم. لإنشاء أقسام مهمة مختلفة / غير مرئية في CrossFit وتسهيل التحليل المتعمق، نقدم صالة الألعاب الرياضية ذات القليل من الرصاص NLP، مستودع 160 مهام NLP قليلة متنوعة تم إنشاؤها من مجموعات بيانات NLP مفتوحة الوصول وتحويلها إلى نص موحد لتنسيق النص. يكشف تحليلنا أن قدرة التعلم القليلة من التعلم على المهام غير المرئية يمكن تحسينها عبر مرحلة التعلم المنبع باستخدام مجموعة من المهام المشاهدة. نلاحظ أيضا أن اختيار مهام التعلم المنبع يمكن أن يؤثر بشكل كبير على أداء قليل الطلقات على المهام غير المرئية، ويطلب المزيد من التحليلات حول التشابه المهمة وقابلية النقل.
نظرا لأن تكلفة وضع العلامات للوحدات المختلفة في أنظمة الحوار الموجهة نحو المهام (TOD) باهظ الثمن، فإن التحدي الرئيسي هو تدريب وحدات مختلفة بأقل قدر من البيانات المسمى. أظهرت نماذج اللغة المدربة مسبقا مؤخرا، نتائج واعدة واعدة لعدد قليل من التعلم في TO
D. في هذه الورقة، نرتند نهجا للتدريب الذاتي للاستفادة من بيانات الحوار غير المسبق الوفيرة لزيادة تحسين النماذج المدربة للدولة المدربة مسبقا في سيناريوهات تعليمية قليلة لأنظمة TOD. على وجه التحديد، نقترح نهجا للتدريب الذاتي أن تستلم البيانات الأكثر ثقة أكثر ثقة لتدريب نموذج طالب أقوى. علاوة على ذلك، يقترح تقنية تكبير نص جديد (GradaG) تدريب الطالب بشكل أفضل عن طريق استبدال الرموز غير الحاسمة باستخدام نموذج لغة ملثم. نقوم بإجراء تجارب مكثفة وتحليلات موجودة على أربع مهام المصب في TOD، بما في ذلك تصنيف النوايا وتتبع ولاية الحوار وتنبؤ قانون الحوار واختيار الاستجابة. توضح النتائج التجريبية أن نهج التدريب الذاتي المقترح باستمرار يحسن باستمرار النماذج المدربة مسبقا من أحدث (بيرت، TOD-BERT-BERT) عند توفر عدد صغير فقط من البيانات المسمى.
التصنيف العاطفي هو مهمة ربط النص تلقائيا بمشاعر بشرية.عادة ما يتم تعلم النماذج من أحدث النماذج باستخدام كورسا المشروح أو الاعتماد على المعجم العاطفي المصنوعة يدويا.نقدم نموذج تصنيف العاطفة لا يتطلب أن تكون كوربوس مشروحة كبيرة تنافسية.نقوم بتجربة نماذ
ج اللغة المسبقة مسبقا في كل من طلقة صفرية وعدد قليل من التكوين.نبني العديد من هذه النماذج ونظرا لهم بأنها متحيزة، صاخبة صاخبة، أدائها الفردي ضعيف.نحن نكمل تنبؤات هذه النماذج باستخدام طريقة بايزي تطورت أصلا لشرائيات النمذجة الجماعية.بعد ذلك، نظهر أن النظام الناتج يؤدي أفضل من أقوى النموذج الفردي.أخيرا، نظهر أنه عند التدريب على عدد قليل من البيانات المسمى، تتفوق أنظمتنا النماذج الخاضعة للإشراف بالكامل.
