حققت النماذج المستندة إلى المحولات المسببة للمحرسة مسبقا أداء حديثة لمختلف مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، غالبا ما تكون هذه النماذج مليارات مليارات من المعلمات، وبالتالي فهي جائعة جدا للجوع وحسابات كثيفة لتناسب أجهزة أو تطبيقات منخفضة القد
رة مع متطلبات زمنية صارمة.علاج واحد محتمل لهذا هو الضغط النموذجي، مما جذبت اهتماما كبيرا للبحث.هنا، نلخص البحث في ضغط المحولات، مع التركيز على نموذج بيرت الشهير بشكل خاص.على وجه الخصوص، نقوم بمسح حالة الفن في ضغط بيرت، نوضح أفضل الممارسات الحالية لضغط نماذج محولات واسعة النطاق، ونحن نقدم رؤى في أعمال أساليب مختلفة.يتم إلقاء تصنيفنا وتحليلنا الضوء على اتجاهات البحث المستقبلية الواعدة لتحقيق نماذج NLP خفيفة الوزن ودقيقة وأجنحة.
