ترميز نماذج اللغة المدربة مسبقا (LMS) معلومات غنية حول الهيكل اللغوي ولكن معرفتهم حول Polysemy المعجمية لا تزال غير واضحة. نقترح إعداد تجريبي رواية لتحليل هذه المعرفة في LMS مدربين على وجه التحديد لغات مختلفة (الإنجليزية والفرنسية والإسبانية واليونانية) وفي بيرتف متعدد اللغات. نقوم بإجراء تحليلنا على مجموعات البيانات المصممة بعناية لتعكس التوزيعات المختلفة بالمعنى، والتحكم في المعلمات التي يرتبط بها بشدة مع Polysemy مثل التردد والفئة النحوية. نوضح أن تمثيلات بيرت المشتقة تعكس الكلمات "مستوى Polysemy وقابلية القسم الخاصة بهم إلى الحواس. تعد المعلومات المتعلقة بالبوليزمي موجودة بشكل أكثر وضوحا في English BertBeddings، لكن النماذج الموجودة بلغات أخرى تمكنت أيضا من إنشاء تمييزات ذات صلة بين الكلمات في مستويات Polysemy المختلفة. تسهم نتائجنا في فهم أفضل للمعارف المشفرة في تمثيلات السياق وفتح طرق جديدة للبحث عن دلالات المعجمات متعددة اللغات.