يبدو أن نجاح النماذج اللغوية المستندة إلى بنية المحولات لا يتعارض مع خصائص الخواص المتجاهية الملحوظة التي تعلمتها هذه النماذج.نقوم بحل هذا من خلال إظهار، خلافا للدراسات السابقة، أن التمثيل لا تشغل مخروطا ضيقا، ولكن الانجراف في اتجاهات مشتركة إلى حد م
ا.عند أي خطوة تدريبية، يتم تحديث جميع المدينات باستثناء تضمين الهدف الأساسي للحقيقة مع التدرج في نفس الاتجاه.يضاعف فوق مجموعة التدريب، وانجرف المدينات وتبادل المكونات الشائعة، حيث تجلى في شكلها في جميع النماذج التي اختبرناها تجريبيا.تظهر تجاربنا أن iSotropy يمكن استعادتها باستخدام تحول بسيط.
ندرس كيف يمكن أن يؤدي اخفاء وتنبؤ الرموز في الأزياء غير المنشأة إلى الهياكل اللغوية ومكاسب أداء المصب. اقترحت النظريات الحديثة أن نماذج اللغة المحددة مسبقا تكتسب تحيزات حثي مفيدة من خلال الأقنعة التي تعمل ضمنيا كتخفيض كتفل لمهام المصب. في حين أننا نن
ظر إلى أن نجاح استراتيجية الاخفاء العشوائية المستخدمة في الممارسة لا يمكن تفسيره بواسطة أقنعة مثل كلوزي وحدها. نحن نبني أقنعة تشبه الكتبة باستخدام المعجمات الخاصة بمهام المهام لثلاث مجموعات بيانات تصنيف مختلفة وإظهار أن غالبية مكاسب الأداء المسبدة مسبقا تأتي من أقنعة عامة لا ترتبط مع المعجم. لشرح النجاح التجريبي لهذه الأقنعة العامة هذه، نوضح مراسلات بين هدف اللغة المعقدة (MLM) والأساليب الموجودة لتعلم التبعيات الإحصائية في النماذج الرسومية. باستخدام هذا، نستمد طريقة لاستخراج هذه التبعيات الإحصائية المستفادة في MLMS وإظهار أن هذه التبعيات ترميز تحيزات حثي مفيدة في شكل هياكل النحوية. في تقييم تحليل غير مدفوع، ببساطة تشكيل شجرة ممتدة كحد أدنى على هيكل الاعتماد الإحصائي الضمني تتفوق على طريقة كلاسيكية لتحليل غير معروض (58.74 مقابل 55.91 Uuas).
