التحقيق المنخفض التعقيد عبر العثور على الشبكات الفرعية

تتمثل النهج المهيمن في التحقيق في الشبكات العصبية للعقارات اللغوية في تدريب Perceptron متعدد الطبقات الضحلة (MLP) على رأس التمثيلات الداخلية للنموذج. يمكن لهذا النهج اكتشاف الخصائص المشفرة في النموذج، ولكن بتكلفة إضافة معلمات جديدة قد تتعلم المهمة مباشرة. نقترح بدلا من ذلك، حيث نقترح مسبارا شبه جذاب، حيث نجد شبكة فرعية حالية تؤدي المهمة اللغوية المصالحة. بالمقارنة مع MLP، تحقق مسبار الشبكة الفرعية كلتا الدقة العليا على النماذج المدربة مسبقا ودقة منخفضة على النماذج العشوائية، لذلك فهي أفضل في العثور على خصائص ذات أهمية وأسوأ من التعلم بمفردها. بعد ذلك، من خلال اختلاف تعقيد كل مسبار، نوضح أن التحقيق في الشبكة الفرعية التي يسيطر عليها البريتو - يحقق في تحقيق الدقة العليا التي تحقق أي ميزانية تعقيد التحقيق. أخيرا، نقوم بتحليل شبكات فرعية الناتجة الناتجة في مختلف المهام لتحديد مكان ترميز كل مهمة، ونتجد أن المهام ذات المستوى الأدنى يتم التقاطها في طبقات أقل، إعادة إنتاج نتائج مماثلة في العمل الماضي.