تنظيم استقرار الضوضاء لتحسين Bert Nine-Tuning

نماذج اللغات المدربة مسبقا بشكل جيد، أصبحت نماذج اللغات المدربة مسبقا من Suchas Bertboard المتصدرين المشترك في إدارة الديم عبر مختلف مهام NLP. نجاحها الأخير والاعتماد الواسع، هذه العملية غير مستقر عندما يكون هناك عدد صغير فقط من عينات التدريب المتاحة. غالبا ما تعكس هذه العملية الحساسية للبذور العشوائية. في هذا PA-PER، نقترح معالجة هذه المشكلة بموجب خاصية استقرار الضوضاء للشبكات العميقة، والتي يتم التحقيق فيها في الأدب الحديث (Aroraet al.، 2018؛ سانيال وآخرون، 2020). على وجه التحديد، نقدم طريقة منتظمة فعالة وفعالة لتحسين ضبط الدقيقة على NLPTASCS، المشار إليها إلى Aslayer-WisenoiseStablegularizulation (LNSR). نقوم بتوسيع juo-ries حول إضافة الضوضاء إلى المدخلات و provethat لدينا طريقة تعطي stabler منتظمة. نحن نقدم دليلا داعما عن طريق تأكيد السابقين بشكل كبير أن الأمهات الجيدة تظهر حساسية منخفضة للضوضاء أن ضبط الضوضاء مع LNSR معارض LNSR بوضوح تعميم التعميم والاستقرار. علاوة على ذلك، توضح طريقةنا أيضا المزايا أكثر من الخوارزميات الحديثة بما في ذلك L2-SP (لي وآخرون، 2018)، خلط (Lee et al.، 2020) و Smart (Jiang et al.، 20)

Fine-tuning pre-trained language models suchas BERT has become a common practice dom-inating leaderboards across various NLP tasks.Despite its recent success and wide adoption,this process is unstable when there are onlya small number of training samples available.The brittleness of this process is often reflectedby the sensitivity to random seeds. In this pa-per, we propose to tackle this problem basedon the noise stability property of deep nets,which is investigated in recent literature (Aroraet al., 2018; Sanyal et al., 2020). Specifically,we introduce a novel and effective regulariza-tion method to improve fine-tuning on NLPtasks, referred to asLayer-wiseNoiseStabilityRegularization (LNSR). We extend the theo-ries about adding noise to the input and provethat our method gives a stabler regularizationeffect. We provide supportive evidence by ex-perimentally confirming that well-performingmodels show a low sensitivity to noise andfine-tuning with LNSR exhibits clearly bet-ter generalizability and stability. Furthermore,our method also demonstrates advantages overother state-of-the-art algorithms including L2-SP (Li et al., 2018), Mixout (Lee et al., 2020)and SMART (Jiang et al., 20)