تهتز الأشجار النحوية في شارع السمسم: التحقيق متعدد اللغات مع اضطرابات يمكن السيطرة عليها

اعتمدت الأبحاث الحديثة حقل تجريبي جديد يترکن حول مفهوم اضطرابات النصوص التي كشفت عن ترتيب الكلمات الخلفي ليس لها تأثير كبير على أداء نماذج اللغة القائمة على المحولات في العديد من مهام NLP. تتناقض هذه النتائج بالفهم المشترك لكيفية تشفير النماذج من المعلومات الهرمية والهيكلية وحتى السؤال إذا تم تصميم أمر Word مع Adgeddings الموضع. تحقيقا لهذه الغاية، تقترح هذه الورقة تسع مجموعات بيانات للتحقيق التي تنظمها نوع اضطراب النص الذي يمكن السيطرة عليه لثلاثة لغات داخلية من الهند مع درجة متفاوتة من مرونة ترتيب الكلمات: الإنجليزية والسويدية والروسية. استنادا إلى تحليل التحقيق لنماذج M-Bert و M-Bart، نبلغ أن الحساسية النحوية تعتمد على أهداف اللغة والنموذج قبل التدريب. نجد أيضا أن الحساسية تنمو عبر الطبقات مع زيادة حبيبات الاضطراب. أخيرا وليس آخرا، نعرض أن النماذج بالكاد تستخدم المعلومات الموضعية لتحفيز الأشجار النحوية من تمثيلها الذاتي المتوسطة والتعويضات السياقية.

Recent research has adopted a new experimental field centered around the concept of text perturbations which has revealed that shuffled word order has little to no impact on the downstream performance of Transformer-based language models across many NLP tasks. These findings contradict the common understanding of how the models encode hierarchical and structural information and even question if the word order is modeled with position embeddings. To this end, this paper proposes nine probing datasets organized by the type of controllable text perturbation for three Indo-European languages with a varying degree of word order flexibility: English, Swedish and Russian. Based on the probing analysis of the M-BERT and M-BART models, we report that the syntactic sensitivity depends on the language and model pre-training objectives. We also find that the sensitivity grows across layers together with the increase of the perturbation granularity. Last but not least, we show that the models barely use the positional information to induce syntactic trees from their intermediate self-attention and contextualized representations.