كم عدد نقاط البيانات هي قيمة سريعة؟

عند ضبط النماذج المحددة مسبقا للتصنيف، يستخدم الباحثون إما رأس نموذج عام أو موجه خاص بالتنبؤ.جادل مؤيدو المطالبات بأن المطالبات توفر طريقة لحقن إرشادات خاصة بالمهام، وهي مفيدة في أنظمة البيانات المنخفضة.نهدف إلى تقدير هذه الفائدة من خلال اختبار صارم للمطالبات في إعداد عادل: مقارنة بالضبط الدقيق المطالب والرأس في ظروف متساوية في العديد من المهام وأحجام البيانات.من خلال السيطرة على العديد من مصادر ميزة، نجد أن المطالبة تقدم بالفعل فائدة، وأن هذه الفائدة يمكن تحديدها لكل مهمة.تظهر النتائج أن المطالبة غالبا ما تستحق 100 ثانية من نقاط البيانات في المتوسط عبر مهام التصنيف.

When fine-tuning pretrained models for classification, researchers either use a generic model head or a task-specific prompt for prediction. Proponents of prompting have argued that prompts provide a method for injecting task-specific guidance, which is beneficial in low-data regimes. We aim to quantify this benefit through rigorous testing of prompts in a fair setting: comparing prompted and head-based fine-tuning in equal conditions across many tasks and data sizes. By controlling for many sources of advantage, we find that prompting does indeed provide a benefit, and that this benefit can be quantified per task. Results show that prompting is often worth 100s of data points on average across classification tasks.