تعاونت التمثيلات السياقية القائمة على نماذج اللغة العصبية حالة الفن في مختلف مهام NLP. على الرغم من نجاحها الكبير، فإن طبيعة هذه التمثيل لا تزال سرية. في هذه الورقة، نقدم ملكية تجريبية لهذه التمثيلات --- "المتوسط" "تقريب أول عنصر رئيسي". على وجه التحديد، تظهر التجارب أن متوسط هذه التمثيل يشارك نفس الاتجاه تقريبا مثل العنصر الرئيسي الأول في المصفوفة التي تعد أعمدة هذه التمثيلات. نعتقد أن هذا يفسر لماذا تمثيل متوسط هو دائما خط أساس بسيط ولكنه قوي. تظهر امتحاناتنا الإضافية أن هذه الخاصية تعقد أيضا سيناريوهات أكثر تحديا، على سبيل المثال، عندما تكون التمثيلات من نموذج مباشرة بعد تهيئةها العشوائية. لذلك، نحن نقوم بالتخمين أن هذه الخاصية هي جوهرية لتوزيع التمثيلات وعدم الصلة بالضرورة بنية الإدخال. نحن ندرك أن هذه التمثيلات متابعة تجريبيا توزيعا طبيعيا لكل بعد، ومن خلال افتراض أن هذا صحيح، نوضح أن الممتلكات التجريبية يمكن أن تكون في الواقع رياضيا.