تتشليب نموذج الطبقة الحكيم بناء على المعلومات المتبادلة

مستوحاة من اختيار ميزة المعلومات المتبادلة (MI) في الانحدار اللوجستي، في هذه الورقة، نقترح تشذيب الطبقة المستندة إلى MI: لكل طبقة من الشبكة العصبية متعددة الطبقات، الخلايا العصبية ذات القيم العالية في MI فيما يتعلق يتم الحفاظ على الخلايا العصبية المحفوظة في الطبقة العليا. بدءا من أعلى طبقة SoftMax، تتقلص الطبقة الحكيمة في الأزياء من أعلى إلى أسفل حتى تصل إلى طبقة تضمين الكلمة السفلي. تقدم استراتيجية التذكير المقترحة مزايا تقنيات تشذيب الوزن: (1) يتجنب الوصول إلى الذاكرة غير النظامية لأن التمثيلات والمصفوفات يمكن الضغط عليها في نظرائها الأصغر ولكن الكثيف، مما يؤدي إلى زيادة السرعة؛ (2) بطريقة تشذيب من أعلى إلى أسفل، تعمل الطريقة المقترحة من منظور عالمي أكثر استنادا إلى إشارات تدريبية في الطبقة العليا، والحكومة كل طبقة من خلال نشر تأثير الإشارات العالمية من خلال الطبقات، مما يؤدي إلى أداء أفضل في نفس مستوى Sparsity. تظهر تجارب واسعة أنه على مستوى Sparsity نفسه، فإن الاستراتيجية المقترحة تقدم كل من التطورات العالية والأداء أعلى من طرق تشذيب الوزن (على سبيل المثال، تشذيب الحجم، تقليم الحركة).