إعادة النظر في إعادة المحاولة مع محولات


الملخص بالعربية

عملت نماذج اللغة المحددة من قبل العمود الفقري للعديد من النتائج NLP الحديثة. هذه النماذج كبيرة ومكلفة لتدريب. يشير العمل الحديث إلى أن الاحيلاء المستمر على البيانات الخاصة بمهام المهام يستحق هذا الجهد كقاولات محدبة لتحسين الأداء في مهام المصب. نستكشف بدائل لحقوق المهام ذات المستوى الشامل من النماذج اللغوية من خلال استخدام وحدات محول، ونهج فعال مع المعلمة لنقل التعلم. نجد أن محاولات محول يستند إلى تحقيق نتائج مماثلة لإحاطاء المهام المحدد أثناء استخدام جزء بسيط من المعلمات التدريبية الشاملة. نحن نستكشف بشكل مباشر عن الاستخدام المباشر للمحولات دون احتجاج ويجد أن الضبط الدقيق المباشر ينفذ في الغالب على قدم المساواة مع نماذج محول مسبقا، ومتناقض مع الفوائد المقترحة سابقا للمحاكاة المستمرة في استراتيجيات ضبط دقيقة تماما. أخيرا، نقوم بإجراء دراسة الاجتثاث حول الاحتجاج بالتكيف مع المهام للتحقيق في كيفية إجراء إعدادات مختلفة من ضغطات HyperParameter فعالية الاحتجاج.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث