ضغط النماذج المستندة إلى المحولات على نطاق واسع: دراسة حالة على بيرت

حققت النماذج المستندة إلى المحولات المسببة للمحرسة مسبقا أداء حديثة لمختلف مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، غالبا ما تكون هذه النماذج مليارات مليارات من المعلمات، وبالتالي فهي جائعة جدا للجوع وحسابات كثيفة لتناسب أجهزة أو تطبيقات منخفضة القدرة مع متطلبات زمنية صارمة.علاج واحد محتمل لهذا هو الضغط النموذجي، مما جذبت اهتماما كبيرا للبحث.هنا، نلخص البحث في ضغط المحولات، مع التركيز على نموذج بيرت الشهير بشكل خاص.على وجه الخصوص، نقوم بمسح حالة الفن في ضغط بيرت، نوضح أفضل الممارسات الحالية لضغط نماذج محولات واسعة النطاق، ونحن نقدم رؤى في أعمال أساليب مختلفة.يتم إلقاء تصنيفنا وتحليلنا الضوء على اتجاهات البحث المستقبلية الواعدة لتحقيق نماذج NLP خفيفة الوزن ودقيقة وأجنحة.

Abstract Pre-trained Transformer-based models have achieved state-of-the-art performance for various Natural Language Processing (NLP) tasks. However, these models often have billions of parameters, and thus are too resource- hungry and computation-intensive to suit low- capability devices or applications with strict latency requirements. One potential remedy for this is model compression, which has attracted considerable research attention. Here, we summarize the research in compressing Transformers, focusing on the especially popular BERT model. In particular, we survey the state of the art in compression for BERT, we clarify the current best practices for compressing large-scale Transformer models, and we provide insights into the workings of various methods. Our categorization and analysis also shed light on promising future research directions for achieving lightweight, accurate, and generic NLP models.