استخراج دائرة التحليل المستندة إلى المخطط متعدد اللغات من نماذج اللغة المدربة مسبقا

كما تم كشف النقاب عنها أن نماذج اللغة المدربة مسبقا (PLMS) هي إلى حد ما قادر على الاعتراف بالمفاهيم النحوية باللغة الطبيعية، فقد تم بذل الكثير من الجهد لتطوير طريقة لاستخراج التقييم الكامل (الثنائي) من PLMS دون تدريب محللين منفصلين. نحن نحسن على هذا النموذج من خلال اقتراح طريقة قائمة على الرسم البياني القائمة على الرسم البياني وتقنية فرعية فعالة من أعلى كوب. علاوة على ذلك، نوضح أنه يمكننا توسيع نطاق تطبيق النهج في إعدادات متعددة اللغات. على وجه التحديد، نظير على أنه من خلال تطبيق طريقتنا على مقدمي اللغات متعددة اللغات، يصبح من الممكن أن يحفز على التقييم غير التافه من الجمل من تسع لغات بطريقة متكاملة وغير مرغقة بلغة، وتحصل على أداء متفوقة أو مماثلة لتلك الخاصة ب PCFGS غير المعروضة. نحن نتحقق أيضا من أن نهجنا قوي للتحويل عبر اللغات. أخيرا، نقدم التحليلات على الأعمال الداخلية لطرأتنا. على سبيل المثال، نكتشف رؤوس الانتباه العالمية التي هي حساسة باستمرار للحصول على معلومات النحوية بغض النظر عن لغة الإدخال.

As it has been unveiled that pre-trained language models (PLMs) are to some extent capable of recognizing syntactic concepts in natural language, much effort has been made to develop a method for extracting complete (binary) parses from PLMs without training separate parsers. We improve upon this paradigm by proposing a novel chart-based method and an effective top-K ensemble technique. Moreover, we demonstrate that we can broaden the scope of application of the approach into multilingual settings. Specifically, we show that by applying our method on multilingual PLMs, it becomes possible to induce non-trivial parses for sentences from nine languages in an integrated and language-agnostic manner, attaining performance superior or comparable to that of unsupervised PCFGs. We also verify that our approach is robust to cross-lingual transfer. Finally, we provide analyses on the inner workings of our method. For instance, we discover universal attention heads which are consistently sensitive to syntactic information irrespective of the input language.