كيف تؤثر الضبط الدقيق على هندسة مساحة التضمين: دراسة حالة عن ISOTROPY


الملخص بالعربية

يتم قبولها على نطاق واسع أن نماذج اللغة المدربة مسبقا بشكل كبير توفر عادة تحسينات الأداء في مهام المصب. ومع ذلك، هناك دراسات محدودة حول الأسباب الكامنة وراء هذه الفعالية، لا سيما من وجهة نظر التغييرات الهيكلية في مساحة التضمين. في محاولة لملء هذه الفجوة، في هذه الورقة، نقوم بتحليل المدى الذي يتغير فيه iSotropy من مساحة التضمين بعد ضبط الدقيقة. نوضح ذلك، على الرغم من أن ISOTROPY هي خاصية هندسية مرغوبة، لا يؤدي الضبط بشكل جيد بالضرورة إلى تحسينات ISOTROPY. علاوة على ذلك، تخضع الهياكل المحلية في تمثيلات الكلمات السياقية المدربة مسبقا (CWRS)، مثل تلك الأنواع أو التردد المميز للترميز، من تغيير هائل أثناء الضبط الجمني. تظهر تجاربنا نموا دراماتيكيا في عدد الاتجاهات الممدودة في مساحة التضمين، والتي، على النقيض من CWRS المدربة مسبقا، تحمل المعرفة اللغوية الأساسية في مساحة التضمين الدقيقة، مما يجعل أساليب تعزيز ISOTROPY الحالية غير فعالة.

المراجع المستخدمة

https://aclanthology.org/

تحميل البحث