كما تم كشف النقاب عنها أن نماذج اللغة المدربة مسبقا (PLMS) هي إلى حد ما قادر على الاعتراف بالمفاهيم النحوية باللغة الطبيعية، فقد تم بذل الكثير من الجهد لتطوير طريقة لاستخراج التقييم الكامل (الثنائي) من PLMS دون تدريب محللين منفصلين. نحن نحسن على هذا النموذج من خلال اقتراح طريقة قائمة على الرسم البياني القائمة على الرسم البياني وتقنية فرعية فعالة من أعلى كوب. علاوة على ذلك، نوضح أنه يمكننا توسيع نطاق تطبيق النهج في إعدادات متعددة اللغات. على وجه التحديد، نظير على أنه من خلال تطبيق طريقتنا على مقدمي اللغات متعددة اللغات، يصبح من الممكن أن يحفز على التقييم غير التافه من الجمل من تسع لغات بطريقة متكاملة وغير مرغقة بلغة، وتحصل على أداء متفوقة أو مماثلة لتلك الخاصة ب PCFGS غير المعروضة. نحن نتحقق أيضا من أن نهجنا قوي للتحويل عبر اللغات. أخيرا، نقدم التحليلات على الأعمال الداخلية لطرأتنا. على سبيل المثال، نكتشف رؤوس الانتباه العالمية التي هي حساسة باستمرار للحصول على معلومات النحوية بغض النظر عن لغة الإدخال.
As it has been unveiled that pre-trained language models (PLMs) are to some extent capable of recognizing syntactic concepts in natural language, much effort has been made to develop a method for extracting complete (binary) parses from PLMs without training separate parsers. We improve upon this paradigm by proposing a novel chart-based method and an effective top-K ensemble technique. Moreover, we demonstrate that we can broaden the scope of application of the approach into multilingual settings. Specifically, we show that by applying our method on multilingual PLMs, it becomes possible to induce non-trivial parses for sentences from nine languages in an integrated and language-agnostic manner, attaining performance superior or comparable to that of unsupervised PCFGs. We also verify that our approach is robust to cross-lingual transfer. Finally, we provide analyses on the inner workings of our method. For instance, we discover universal attention heads which are consistently sensitive to syntactic information irrespective of the input language.
References used
https://aclanthology.org/
Can pre-trained BERT for one language and GPT for another be glued together to translate texts? Self-supervised training using only monolingual data has led to the success of pre-trained (masked) language models in many NLP tasks. However, directly c
In this study, we propose a self-supervised learning method that distils representations of word meaning in context from a pre-trained masked language model. Word representations are the basis for context-aware lexical semantics and unsupervised sema
Pre-trained language models (PrLM) have to carefully manage input units when training on a very large text with a vocabulary consisting of millions of words. Previous works have shown that incorporating span-level information over consecutive words i
Large language models benefit from training with a large amount of unlabeled text, which gives them increasingly fluent and diverse generation capabilities. However, using these models for text generation that takes into account target attributes, su
Pretrained language models (PTLMs) yield state-of-the-art performance on many natural language processing tasks, including syntax, semantics and commonsense. In this paper, we focus on identifying to what extent do PTLMs capture semantic attributes a