"" متوسط "" تقريب "أول عنصر رئيسي"؟تحليل تجريبي حول التمثيلات من نماذج اللغة العصبية

تعاونت التمثيلات السياقية القائمة على نماذج اللغة العصبية حالة الفن في مختلف مهام NLP. على الرغم من نجاحها الكبير، فإن طبيعة هذه التمثيل لا تزال سرية. في هذه الورقة، نقدم ملكية تجريبية لهذه التمثيلات --- "المتوسط" "تقريب أول عنصر رئيسي". على وجه التحديد، تظهر التجارب أن متوسط ​​هذه التمثيل يشارك نفس الاتجاه تقريبا مثل العنصر الرئيسي الأول في المصفوفة التي تعد أعمدة هذه التمثيلات. نعتقد أن هذا يفسر لماذا تمثيل متوسط ​​هو دائما خط أساس بسيط ولكنه قوي. تظهر امتحاناتنا الإضافية أن هذه الخاصية تعقد أيضا سيناريوهات أكثر تحديا، على سبيل المثال، عندما تكون التمثيلات من نموذج مباشرة بعد تهيئةها العشوائية. لذلك، نحن نقوم بالتخمين أن هذه الخاصية هي جوهرية لتوزيع التمثيلات وعدم الصلة بالضرورة بنية الإدخال. نحن ندرك أن هذه التمثيلات متابعة تجريبيا توزيعا طبيعيا لكل بعد، ومن خلال افتراض أن هذا صحيح، نوضح أن الممتلكات التجريبية يمكن أن تكون في الواقع رياضيا.

Contextualized representations based on neural language models have furthered the state of the art in various NLP tasks. Despite its great success, the nature of such representations remains a mystery. In this paper, we present an empirical property of these representations---''average'' approximates first principal component''. Specifically, experiments show that the average of these representations shares almost the same direction as the first principal component of the matrix whose columns are these representations. We believe this explains why the average representation is always a simple yet strong baseline. Our further examinations show that this property also holds in more challenging scenarios, for example, when the representations are from a model right after its random initialization. Therefore, we conjecture that this property is intrinsic to the distribution of representations and not necessarily related to the input structure. We realize that these representations empirically follow a normal distribution for each dimension, and by assuming this is true, we demonstrate that the empirical property can be in fact derived mathematically.