التنظيم التفاضلي الخلفي مع اختلاف F لتحسين النموذج

نحن نبذة عن مشكلة تعزيز متانة النموذج من خلال التنظيم. على وجه التحديد، نركز على الأساليب التي تنظم الفرق الخلفي النموذجي بين المدخلات النظيفة والصاخبة. من الناحية النظرية، نحن نقدم اتصالا بطريقتين حديثين، وانتظام جاكوبي والتدريب الخصم الافتراضي، في إطار هذا الإطار. بالإضافة إلى ذلك، نعيد بتعميم التنظيم التفاضلي الخلفي لعائلة الاختلافات F وتوصيف الإطار العام من حيث مصفوفة الجاكوبيان. تجريبيا، قارنا هذه التحسينات وتدريب بيرت القياسي على مجموعة متنوعة من المهام لتوفير ملف شامل لتأثيرها على تعميم النموذج. لكلا الإعدادات ذات الإشراف بالكامل وشبه الإشراف، نوضح أن تنظيم الفرق الخلفي الذي يمكن أن يؤدي إلى اختلاف F إلى متانة نموذج جيد. على وجه الخصوص، مع اختلاف F-Supplgence مناسب، يمكن أن يحقق نموذج BERT-BASE تعميما قابلا للمقارنة كظرفي كبير لسيناريوهات التحول في المجال والمواد والمناطق، مما يشير إلى إمكانات كبيرة للإطار المقترح لتعزيز متانة نموذج NLP.