قوة الحجم لضبط موجه فعالة المعلمة

في هذا العمل، نستكشف ضبط موجه، "آلية بسيطة ولكنها فعالة لتعلم المطالبات الناعمة" لحالة نماذج اللغة المجمدة لتنفيذ مهام المصب المحددة. على عكس مطالبات النص المنفصلة المستخدمة من قبل GPT-3، يتم تعلم المطالبات الناعمة من خلال إعادة الاتصال ويمكن ضبطها لدمج الإشارات من أي عدد من الأمثلة المسمى. يتفوق نهجنا المستفاد من طرفي تنضم إلى التعلم القليل من GPT-3 لهامش كبير. بشكل ملحوظ، من خلال ablations على حجم النموذج باستخدام T5، نظهر أن الضبط الفوري يصبح أكثر تنافسية على نطاق الحجم: نظرا لأن النماذج تتجاوز مليارات المعلمات، فإن طريقتنا تغلق الفجوة "وتطابق الأداء القوي لضبط النموذج (حيث جميع الأوزان النموذجية ضبطها). هذه النتيجة ذات صلة خاصة لأن النماذج الكبيرة مكلفة للمشاركة والخدمة والقدرة على إعادة استخدام نموذج واحد مجمد لمهام متعددة المصب يمكن أن تخفف من هذا العبء. يمكن اعتبار طريقةنا بمثابة تبسيط لضبط البادئة المقترح مؤخرا "لى ولديانغ (2021) ونوفر مقارنة بهذه الطريقة وغيرها من الأساليب المماثلة. أخيرا، نظهر أن تكييف نموذج مجمد مع مطالبات ناعمة يمنح الفوائد في متانة نقل المجال وتمكين الكفاءة الفعالة من الفئة الفعالة. "نحن ندرك رمز نقاط التفتيش والنموذج لإعادة إنتاج تجاربنا.