يتم قبولها على نطاق واسع أن نماذج اللغة المدربة مسبقا بشكل كبير توفر عادة تحسينات الأداء في مهام المصب. ومع ذلك، هناك دراسات محدودة حول الأسباب الكامنة وراء هذه الفعالية، لا سيما من وجهة نظر التغييرات الهيكلية في مساحة التضمين. في محاولة لملء هذه الف
جوة، في هذه الورقة، نقوم بتحليل المدى الذي يتغير فيه iSotropy من مساحة التضمين بعد ضبط الدقيقة. نوضح ذلك، على الرغم من أن ISOTROPY هي خاصية هندسية مرغوبة، لا يؤدي الضبط بشكل جيد بالضرورة إلى تحسينات ISOTROPY. علاوة على ذلك، تخضع الهياكل المحلية في تمثيلات الكلمات السياقية المدربة مسبقا (CWRS)، مثل تلك الأنواع أو التردد المميز للترميز، من تغيير هائل أثناء الضبط الجمني. تظهر تجاربنا نموا دراماتيكيا في عدد الاتجاهات الممدودة في مساحة التضمين، والتي، على النقيض من CWRS المدربة مسبقا، تحمل المعرفة اللغوية الأساسية في مساحة التضمين الدقيقة، مما يجعل أساليب تعزيز ISOTROPY الحالية غير فعالة.
