Layer-wise Model Pruning based on Mutual Information

مستوحاة من اختيار ميزة المعلومات المتبادلة (MI) في الانحدار اللوجستي، في هذه الورقة، نقترح تشذيب الطبقة المستندة إلى MI: لكل طبقة من الشبكة العصبية متعددة الطبقات، الخلايا العصبية ذات القيم العالية في MI فيما يتعلق يتم الحفاظ على الخلايا العصبية المحفوظة في الطبقة العليا. بدءا من أعلى طبقة SoftMax، تتقلص الطبقة الحكيمة في الأزياء من أعلى إلى أسفل حتى تصل إلى طبقة تضمين الكلمة السفلي. تقدم استراتيجية التذكير المقترحة مزايا تقنيات تشذيب الوزن: (1) يتجنب الوصول إلى الذاكرة غير النظامية لأن التمثيلات والمصفوفات يمكن الضغط عليها في نظرائها الأصغر ولكن الكثيف، مما يؤدي إلى زيادة السرعة؛ (2) بطريقة تشذيب من أعلى إلى أسفل، تعمل الطريقة المقترحة من منظور عالمي أكثر استنادا إلى إشارات تدريبية في الطبقة العليا، والحكومة كل طبقة من خلال نشر تأثير الإشارات العالمية من خلال الطبقات، مما يؤدي إلى أداء أفضل في نفس مستوى Sparsity. تظهر تجارب واسعة أنه على مستوى Sparsity نفسه، فإن الاستراتيجية المقترحة تقدم كل من التطورات العالية والأداء أعلى من طرق تشذيب الوزن (على سبيل المثال، تشذيب الحجم، تقليم الحركة).

Inspired by mutual information (MI) based feature selection in SVMs and logistic regression, in this paper, we propose MI-based layer-wise pruning: for each layer of a multi-layer neural network, neurons with higher values of MI with respect to preserved neurons in the upper layer are preserved. Starting from the top softmax layer, layer-wise pruning proceeds in a top-down fashion until reaching the bottom word embedding layer. The proposed pruning strategy offers merits over weight-based pruning techniques: (1) it avoids irregular memory access since representations and matrices can be squeezed into their smaller but dense counterparts, leading to greater speedup; (2) in a manner of top-down pruning, the proposed method operates from a more global perspective based on training signals in the top layer, and prunes each layer by propagating the effect of global signals through layers, leading to better performances at the same sparsity level. Extensive experiments show that at the same sparsity level, the proposed strategy offers both greater speedup and higher performances than weight-based pruning methods (e.g., magnitude pruning, movement pruning).