في هذا العمل، نستكشف ضبط موجه، "آلية بسيطة ولكنها فعالة لتعلم المطالبات الناعمة" لحالة نماذج اللغة المجمدة لتنفيذ مهام المصب المحددة. على عكس مطالبات النص المنفصلة المستخدمة من قبل GPT-3، يتم تعلم المطالبات الناعمة من خلال إعادة الاتصال ويمكن ضبطها ل
دمج الإشارات من أي عدد من الأمثلة المسمى. يتفوق نهجنا المستفاد من طرفي تنضم إلى التعلم القليل من GPT-3 لهامش كبير. بشكل ملحوظ، من خلال ablations على حجم النموذج باستخدام T5، نظهر أن الضبط الفوري يصبح أكثر تنافسية على نطاق الحجم: نظرا لأن النماذج تتجاوز مليارات المعلمات، فإن طريقتنا تغلق الفجوة "وتطابق الأداء القوي لضبط النموذج (حيث جميع الأوزان النموذجية ضبطها). هذه النتيجة ذات صلة خاصة لأن النماذج الكبيرة مكلفة للمشاركة والخدمة والقدرة على إعادة استخدام نموذج واحد مجمد لمهام متعددة المصب يمكن أن تخفف من هذا العبء. يمكن اعتبار طريقةنا بمثابة تبسيط لضبط البادئة المقترح مؤخرا "لى ولديانغ (2021) ونوفر مقارنة بهذه الطريقة وغيرها من الأساليب المماثلة. أخيرا، نظهر أن تكييف نموذج مجمد مع مطالبات ناعمة يمنح الفوائد في متانة نقل المجال وتمكين الكفاءة الفعالة من الفئة الفعالة. "نحن ندرك رمز نقاط التفتيش والنموذج لإعادة إنتاج تجاربنا.
تم استخدام مطالبات اللغة الطبيعية مؤخرا لتخصيص نماذج اللغة في أداء مهام منظمة العفو الدولية الأخرى، باستخدام نموذج تعبئة داخل الفراغ (Petroni et al.، 2019) أو نموذج استقراء قليل بالرصاص (براون وآخرون، 2020). على سبيل المثال، تحتفظ نماذج اللغة بالمعرف
ة الواقعية من كورسا التدريب التي يمكن استخراجها من خلال مطالبتها بملء الفراغ "في موجه أساسية. ومع ذلك، أين يأتي هذا المطالبة؟ نستكشف فكرة مطالبات التعلم عن طريق نزول التدرج --- إما مطالبات ضبط دقيقة مأخوذة من العمل السابق، أو بدءا من تهيئة عشوائية. تتكون مطالباتنا من كلمات ناعمة، '' I.E.، ناقلات مستمرة ليست بالضرورة تضمين نوع الكلمات من نموذج اللغة. علاوة على ذلك، لكل مهمة، فإننا نحسن مزيجا من المطالبات، والتعلم الذي يطالب الأكثر فعالية وكيفية الفرقة لهم. عبر العديد من LMS والمهام الإنجليزية المتعددة، يتفوق نهجنا بشكل كبير على الأساليب السابقة، مما يظهر أن المعرفة الواقعية الضمنية في نماذج اللغة قد تم التقليل من السابق. علاوة على ذلك، فإن هذه المعرفة رخيصة للاستيلاء: تهيئة عشوائية جيدة مثل التهيئة المستنيرة.
الملخص نقدم آلية بسيطة ولكن مرنة لتعلم خطة وسيطة للأرض جيل من ملخصات الجماعة. على وجه التحديد، نقوم بإعداد الملخصات المستهدفة (أو المطالبة) مع سلاسل الكيانات --- ترتيب تسلسل الكيانات المذكورة في الملخص. ثم يتم تدريب نماذج التسلسل المستندة إلى التسلسل
على المحولات لتوليد سلسلة الكيان ثم تابع إنشاء الملخص مشروط على سلسلة الكيان والإدخال. جربنا كلا من الاحتمالات وتصفيتها مع هدف تخطيط المحتوى هذا. عند تقييمها على CNN / Dailymail، XSUM، SAMSUM، وبيلسين، نوضح تجريبيا أن الجيل الأسطوري له هدف التخطيط يحسن خصوصية الكيان والتخطيط في ملخصات لجميع مجموعات البيانات، وتحقق أداء حديثة على XSUM و SAMSUM من حيث الحمر. علاوة على ذلك، نوضح تجريبيا أن التخطيط مع سلاسل الكيانات يوفر آلية للسيطرة على الهلوسة في ملخصات مبادرة. من خلال مطالبة وحدة فك الترميز بخطة محتوى معدلة تنخفض الكيانات الهلوسة، فإننا نتفوق من الأساليب الحديثة من خلال الإخلاص عند تقييمها تلقائيا والبشر.
