Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models

في حين أن تمثيل اللغة المستندة إلى المتجهات من النماذج اللغوية المحددة قد حددت معيارا جديدا للعديد من مهام NLP، إلا أنه ليس هناك حساب كامل لأعمالهم الداخلية. على وجه الخصوص، ليس من الواضح تماما ما يتم التقاط جوانب بناء جملة مستوى الجملة من خلال هذه التمثيلات، ولا (إذا كان على الإطلاق) بنيت على طول الطبقات المكدسة من الشبكة. في هذه الورقة، نهدف إلى معالجة هذه الأسئلة مع فئة عامة من التحليلات المستندة إلى اضطرابات التدخل، والإدخال المستندة إلى الإدخال من النماذج اللغوية المحددة مسبقا. استيراد من علم الأعصاب الحسابي والمعرفي فكرة الثابتة التمثيلية، نقوم بإجراء سلسلة من المجسات المصممة لاختبار حساسية هذه التمثيلات لعدة أنواع الهيكل في الجمل. ينطوي كل مسبار على تبديل الكلمات في جملة ومقارنة التمثيلات من الجمل المضطربة ضد الأصل. نقوم بتجربة ثلاثة اضطرابات مختلفة: (1) تصامح عشوائية من نجمات N-Gram من عرض متفاوت، لاختبار النطاق الذي يمثل التمثيل حساسا لهذا المنصب؛ (2) تبديل اثنين من الأمور التي تفعل أو لا تشكل عبارة نصية، لاختبار الحساسية بنية العبارة العالمية؛ و (3) تبديل كلمات اثنين المجاورة التي تفعل أو لا تفكر عبارة نصية، لاختبار الحساسية بنية العبارة المحلية. تشير النتائج من هذه التحقيقات بشكل جماعي إلى أن المحولات تبني حساسية أجزاء أكبر من الجملة على طول طبقاتها، وأن هيكل العبارة الهرمية يلعب دورا في هذه العملية. على نطاق أوسع نطاقا، تشير نتائجنا أيضا إلى أن اضطرابات الإدخال المهيكلة تتسع نطاق التحليلات التي يمكن تنفيذها في أنظمة التعلم العميقة في كثير من الأحيان، ويمكن أن تكون بمثابة مكمل للأدوات الحالية (مثل التحقيقات الخطية الخاضعة للإشراف) لتفسير الصندوق الأسود المعقدة عارضات ازياء.

While vector-based language representations from pretrained language models have set a new standard for many NLP tasks, there is not yet a complete accounting of their inner workings. In particular, it is not entirely clear what aspects of sentence-level syntax are captured by these representations, nor how (if at all) they are built along the stacked layers of the network. In this paper, we aim to address such questions with a general class of interventional, input perturbation-based analyses of representations from pretrained language models. Importing from computational and cognitive neuroscience the notion of representational invariance, we perform a series of probes designed to test the sensitivity of these representations to several kinds of structure in sentences. Each probe involves swapping words in a sentence and comparing the representations from perturbed sentences against the original. We experiment with three different perturbations: (1) random permutations of n-grams of varying width, to test the scale at which a representation is sensitive to word position; (2) swapping of two spans which do or do not form a syntactic phrase, to test sensitivity to global phrase structure; and (3) swapping of two adjacent words which do or do not break apart a syntactic phrase, to test sensitivity to local phrase structure. Results from these probes collectively suggest that Transformers build sensitivity to larger parts of the sentence along their layers, and that hierarchical phrase structure plays a role in this process. More broadly, our results also indicate that structured input perturbations widens the scope of analyses that can be performed on often-opaque deep learning systems, and can serve as a complement to existing tools (such as supervised linear probes) for interpreting complex black-box models.