تحسين ومبسط نمط استغلال التدريب

حققت نماذج اللغة المدربة مؤخرا (LMS) أداء قويا عند ضبطها على المعايير الصعبة مثل SuperGlue.ومع ذلك، يمكن أن يعاني الأداء عندما يكون هناك عدد قليل جدا من الأمثلة المسمىة للضبط بشكل جيد.يعد تدريب نمط استغلال النمط (PET) نهجا مؤخرا أن أنماط أنماط لتعلم القليل من الطلقات.ومع ذلك، يستخدم الحيوانات الأليفة البيانات الخاصة بمهام المهام غير المسبقة.في هذه الورقة، نركز على عدد قليل من التعلم بالرصاص دون أي بيانات غير مبررة وإدخال Adapet، والذي يعدل هدف الحيوانات الأليفة لتوفير إشراف كثيف أثناء الضبط.نتيجة لذلك، تتفوق Adapet على الحيوانات الأليفة على SuperGlue دون أي بيانات غير محددة من المهام.

Recently, pre-trained language models (LMs) have achieved strong performance when fine-tuned on difficult benchmarks like SuperGLUE. However, performance can suffer when there are very few labeled examples available for fine-tuning. Pattern Exploiting Training (PET) is a recent approach that leverages patterns for few-shot learning. However, PET uses task-specific unlabeled data. In this paper, we focus on few-shot learning without any unlabeled data and introduce ADAPET, which modifies PET's objective to provide denser supervision during fine-tuning. As a result, ADAPET outperforms PET on SuperGLUE without any task-specific unlabeled data.