الكثير من القمم لدينا: تحويل المدينات في نماذج لغة المحولات وآثارها

يبدو أن نجاح النماذج اللغوية المستندة إلى بنية المحولات لا يتعارض مع خصائص الخواص المتجاهية الملحوظة التي تعلمتها هذه النماذج.نقوم بحل هذا من خلال إظهار، خلافا للدراسات السابقة، أن التمثيل لا تشغل مخروطا ضيقا، ولكن الانجراف في اتجاهات مشتركة إلى حد ما.عند أي خطوة تدريبية، يتم تحديث جميع المدينات باستثناء تضمين الهدف الأساسي للحقيقة مع التدرج في نفس الاتجاه.يضاعف فوق مجموعة التدريب، وانجرف المدينات وتبادل المكونات الشائعة، حيث تجلى في شكلها في جميع النماذج التي اختبرناها تجريبيا.تظهر تجاربنا أن iSotropy يمكن استعادتها باستخدام تحول بسيط.