في حين أن تمثيل اللغة المستندة إلى المتجهات من النماذج اللغوية المحددة قد حددت معيارا جديدا للعديد من مهام NLP، إلا أنه ليس هناك حساب كامل لأعمالهم الداخلية. على وجه الخصوص، ليس من الواضح تماما ما يتم التقاط جوانب بناء جملة مستوى الجملة من خلال هذه ا
لتمثيلات، ولا (إذا كان على الإطلاق) بنيت على طول الطبقات المكدسة من الشبكة. في هذه الورقة، نهدف إلى معالجة هذه الأسئلة مع فئة عامة من التحليلات المستندة إلى اضطرابات التدخل، والإدخال المستندة إلى الإدخال من النماذج اللغوية المحددة مسبقا. استيراد من علم الأعصاب الحسابي والمعرفي فكرة الثابتة التمثيلية، نقوم بإجراء سلسلة من المجسات المصممة لاختبار حساسية هذه التمثيلات لعدة أنواع الهيكل في الجمل. ينطوي كل مسبار على تبديل الكلمات في جملة ومقارنة التمثيلات من الجمل المضطربة ضد الأصل. نقوم بتجربة ثلاثة اضطرابات مختلفة: (1) تصامح عشوائية من نجمات N-Gram من عرض متفاوت، لاختبار النطاق الذي يمثل التمثيل حساسا لهذا المنصب؛ (2) تبديل اثنين من الأمور التي تفعل أو لا تشكل عبارة نصية، لاختبار الحساسية بنية العبارة العالمية؛ و (3) تبديل كلمات اثنين المجاورة التي تفعل أو لا تفكر عبارة نصية، لاختبار الحساسية بنية العبارة المحلية. تشير النتائج من هذه التحقيقات بشكل جماعي إلى أن المحولات تبني حساسية أجزاء أكبر من الجملة على طول طبقاتها، وأن هيكل العبارة الهرمية يلعب دورا في هذه العملية. على نطاق أوسع نطاقا، تشير نتائجنا أيضا إلى أن اضطرابات الإدخال المهيكلة تتسع نطاق التحليلات التي يمكن تنفيذها في أنظمة التعلم العميقة في كثير من الأحيان، ويمكن أن تكون بمثابة مكمل للأدوات الحالية (مثل التحقيقات الخطية الخاضعة للإشراف) لتفسير الصندوق الأسود المعقدة عارضات ازياء.
