pimentel et al. (2020) تم تحليلها مؤخرا التحقيق من منظور نظرية المعلومات. يجادلون بأن التحقيق يجب أن ينظر إليه على أنه يقترب المعلومات المتبادلة. هذا أدى إلى الاستنتاج دون المستوى إلى حد ما أن تمثل التمثيلات نفسها بالضبط نفس المعلومات حول المهمة المس
تهدفة كجمل أصلية. ومع ذلك، فإن المعلومات المتبادلة تفترض أن توزيع الاحتمالات الحقيقي لزوج من المتغيرات العشوائية معروفة، مما يؤدي إلى نتائج دون المستوى في الإعدادات التي لا يكون فيها. تقترح هذه الورقة إطارا جديدا لقياس ما نقوم بمصطلح معلومات البايز المتبادلة، والتي تحلل المعلومات من منظور عملاء البيئة --- السماح بنتائج أكثر بديهية في السيناريوهات مع البيانات المحدودة. على سبيل المثال، تحت Bayesian MI، لدينا أن البيانات يمكن أن تضيف معلومات، ومعالجة يمكن أن تساعد، والمعلومات يمكن أن تؤذي، مما يجعلها أكثر بديهية لتطبيقات التعلم الآلي. أخيرا، نطبق إطار عملنا على التحقيق حيث نعتقد أن المعلومات المتبادلة بايزي تعمل بشكل طبيعي بسهولة سهولة الاستخراج من خلال الحد الصريح لمعرفة الخلفية المتاحة لحل المهمة.
مستوحاة من اختيار ميزة المعلومات المتبادلة (MI) في الانحدار اللوجستي، في هذه الورقة، نقترح تشذيب الطبقة المستندة إلى MI: لكل طبقة من الشبكة العصبية متعددة الطبقات، الخلايا العصبية ذات القيم العالية في MI فيما يتعلق يتم الحفاظ على الخلايا العصبية المح
فوظة في الطبقة العليا. بدءا من أعلى طبقة SoftMax، تتقلص الطبقة الحكيمة في الأزياء من أعلى إلى أسفل حتى تصل إلى طبقة تضمين الكلمة السفلي. تقدم استراتيجية التذكير المقترحة مزايا تقنيات تشذيب الوزن: (1) يتجنب الوصول إلى الذاكرة غير النظامية لأن التمثيلات والمصفوفات يمكن الضغط عليها في نظرائها الأصغر ولكن الكثيف، مما يؤدي إلى زيادة السرعة؛ (2) بطريقة تشذيب من أعلى إلى أسفل، تعمل الطريقة المقترحة من منظور عالمي أكثر استنادا إلى إشارات تدريبية في الطبقة العليا، والحكومة كل طبقة من خلال نشر تأثير الإشارات العالمية من خلال الطبقات، مما يؤدي إلى أداء أفضل في نفس مستوى Sparsity. تظهر تجارب واسعة أنه على مستوى Sparsity نفسه، فإن الاستراتيجية المقترحة تقدم كل من التطورات العالية والأداء أعلى من طرق تشذيب الوزن (على سبيل المثال، تشذيب الحجم، تقليم الحركة).
