قبل القطار أو التعليق؟تكيف المجال مع ميزانية مقيدة

أظهر العمل الحديث أن نماذج لغة التدريب المسبق التدريبية يمكن أن تعزز الأداء عند التكيف إلى مجال جديد. ومع ذلك، فإن التكاليف المرتبطة بالتدريب المسبق رفع سؤال مهم: بالنظر إلى ميزانية ثابتة، ما هي الخطوات التي يجب أن يستغرق ممارس NLP لتعظيم الأداء؟ في هذه الورقة، نقوم بدراسة تكيف المجال بموجب قيود الموازنة، ونهجها كمشكلة اختيار العملاء بين شروح البيانات والتدريب المسبق. على وجه التحديد، نقيس تكلفة التوضيحية لثلاث مجموعات بيانات نصية إجرائية وتكلفة ما قبل التدريب من ثلاث نماذج لغوية داخل المجال. ثم نقيم فائدة مجموعات مختلفة من التدريب المسبق والتشريح بالبيانات بموجب قيود ميزانية متفاوتة لتقييم الاستراتيجية التي تعمل بشكل أفضل. نجد أنه بالنسبة للميزانيات الصغيرة، فإن إنفاق جميع الأموال على التوضيحية يؤدي إلى أفضل أداء؛ بمجرد أن تصبح الميزانية كبيرة بما فيه الكفاية، يعمل مزيج من شرح البيانات والتدريب المسبق في المجال على النحو الأمثل. لذلك نقترح أن تكون شروط التعريف الخاصة بالبيانات الخاصة بمهارات العمل يجب أن تكون جزءا من استراتيجية اقتصادية عند تكييف نموذج NLP إلى مجال جديد.