التحقيق الشرطي: قياس المعلومات القابلة للاستخدام وراء خط الأساس

التحقيق تجارب التحقيق في مدى جعل التمثيل العصبي الممتلكات - مثل جزء من الكلام --- يمكن التنبؤ بها. يشير المرء إلى أن التمثيل يرمز عقار إذا كان التحقيق في هذا التمثيل ينتج دقة أعلى من التحقيق في تمثيل خط أساس مثل تضمين الكلمات غير السياقية. بدلا من استخدام خطوط الأساس كنقطة مقارنة، نحن مهتمون بقياس المعلومات الواردة في التمثيل ولكن ليس في الأساس. على سبيل المثال، يمكن للطرق الحالية اكتشافها عندما يكون التمثيل مفيدا أكثر من هوية الكلمة (خط الأساس) للتنبؤ بجزء خطاب؛ ومع ذلك، لا يمكنهم اكتشاف متى تمثل التمثيل من مجرد جوانب جزء من الكلام، ولا يفسره كلمة الهوية. في هذا العمل، نقوم بتوسيع نظرية المعلومات القابلة للاستخدام المسماة معلومات V واقتراح التحقيق الشريطي، والذي ظروف صراحة بشأن المعلومات في الأساس. في دراسة الحالة، نجد أنه بعد تكييفها على أشرطة الكلمات غير السياقية، يمكن الوصول إلى العقارات مثل جزء من الكلام في طبقات أعمق من الشبكة مما كان يعتقد سابقا.

Probing experiments investigate the extent to which neural representations make properties---like part-of-speech---predictable. One suggests that a representation encodes a property if probing that representation produces higher accuracy than probing a baseline representation like non-contextual word embeddings. Instead of using baselines as a point of comparison, we're interested in measuring information that is contained in the representation but not in the baseline. For example, current methods can detect when a representation is more useful than the word identity (a baseline) for predicting part-of-speech; however, they cannot detect when the representation is predictive of just the aspects of part-of-speech not explainable by the word identity. In this work, we extend a theory of usable information called V-information and propose conditional probing, which explicitly conditions on the information in the baseline. In a case study, we find that after conditioning on non-contextual word embeddings, properties like part-of-speech are accessible at deeper layers of a network than previously thought.