قليل من جيل النص بالرصاص مع تعليمات اللغة الطبيعية

إن توفير نماذج اللغة المحددة مسبقا مع أوصاف مهمة بسيطة في اللغة الطبيعية تمكنهم من حل بعض المهام بطريقة غير منشأة بالكامل. علاوة على ذلك، عند دمج التعلم المنتظم من الأمثلة، فإن هذه الفكرة تنتج نتائج قليلة رائعة لمجموعة واسعة من مهام تصنيف النص. كما أنه اتجاه واعد في تحسين كفاءة البيانات في الإعدادات الاسرد، ولكن هناك العديد من التحديات لاستخدام مزيج من أوصاف المهام والتعلم القائم على المثال لتوليد النص. على وجه الخصوص، من الأهمية بمكان العثور على أوصاف المهام سهلة الفهم للنموذج المحدد مسبقا وتأكد من أنه يستخدم بالفعل منهم؛ علاوة على ذلك، يجب تنفيذ تدابير فعالة ضد التجاوز. في هذه الورقة، نظير على كيفية معالجة هذه التحديات: نقدم Genet، وهي طريقة للجيل النصي الذي يستند إلى تدريب استغلال النمط، وهو نهج حديث للجمع بين التعليمات النصية مع التعلم الإشراف الذي يعمل فقط من أجل تصنيف المهام. في العديد من مجموعات بيانات التلخيص وجيل النتائج، تقدم Genet تحسينات متسقة على خطوط خطوط خطوط خطوط خطوط قليلة في إعدادات قليلة.

Providing pretrained language models with simple task descriptions in natural language enables them to solve some tasks in a fully unsupervised fashion. Moreover, when combined with regular learning from examples, this idea yields impressive few-shot results for a wide range of text classification tasks. It is also a promising direction to improve data efficiency in generative settings, but there are several challenges to using a combination of task descriptions and example-based learning for text generation. In particular, it is crucial to find task descriptions that are easy to understand for the pretrained model and to ensure that it actually makes good use of them; furthermore, effective measures against overfitting have to be implemented. In this paper, we show how these challenges can be tackled: We introduce GenPET, a method for text generation that is based on pattern-exploiting training, a recent approach for combining textual instructions with supervised learning that only works for classification tasks. On several summarization and headline generation datasets, GenPET gives consistent improvements over strong baselines in few-shot settings.