Muppet: تمثيلات مهام ضخمة متعددة مع Finetuning مسبقا

نقترح بشكل مسبق، مرحلة تعليمية واسعة النطاق على نطاق واسع بين نموذج اللغة قبل التدريب والضبط بشكل جيد.ما قبل التأثيرات المسبقة للتعلم متعدد المهام على نطاق واسع (حوالي 50 مجموعة من مجموعات البيانات، أكثر من 4.8 مليون أمثلة كاملة المسمى)، وهي مصممة لتشجيع تعلم التمثيلات التي تعمم بشكل أفضل للعديد من المهام المختلفة.نظظ أننا نتحسن باستمرار بشكل ثابت على تحسين الأداء من أجل التمييز المسبق (مثل روبرتا) ونماذج الجيل (مثل بارت) على مجموعة واسعة من المهام (تنبؤ الحكم، ومنطق العمولة، وما إلى ذلك)، مع تحسين كفاءة العينة بشكل كبير بشكل كبير أثناء غرامة-ضبط.نظهر أيضا أن المهام المتعدد واسع النطاق أمر بالغ الأهمية؛يمكن أن تؤذي ما قبل الاستخدام مسبقا الأداء عند استخدام عدد قليل من المهام حتى نقطة حرجة (عادة أعلى من 15) بعد أن يحسن الأداء خطيا في عدد المهام.

We propose pre-finetuning, an additional large-scale learning stage between language model pre-training and fine-tuning. Pre-finetuning is massively multi-task learning (around 50 datasets, over 4.8 million total labeled examples), and is designed to encourage learning of representations that generalize better to many different tasks. We show that pre-finetuning consistently improves performance for pretrained discriminators (e.g. RoBERTa) and generation models (e.g. BART) on a wide range of tasks (sentence prediction, commonsense reasoning, MRC, etc.), while also significantly improving sample efficiency during fine-tuning. We also show that large-scale multi-tasking is crucial; pre-finetuning can hurt performance when few tasks are used up until a critical point (usually above 15) after which performance improves linearly in the number of tasks.