أظهرت LMS المدربة مسبقا أداء مثير للإعجاب على مهام NLP المصب، لكننا لم ننشئ بعد فهم واضح للتطور عندما يتعلق الأمر بمعالجة المعلومات والاحتفاظ بها وتطبيقها المقدمة في مدخلاتها. في هذه الورقة، نتعامل مع مكون من هذه المسألة من خلال دراسة قدرة النماذج على نشر معلومات السياق ذات الصلة في مواجهة مشتت المحتوى. نقدم نماذج مع مهام كتين تتطلب استخدام معلومات السياق النقدي، وإدخال محتوى مشتت لاختبار مدى احتفاظ النماذج بقوة واستخدام هذه المعلومات الهامة للتنبؤ بها. نحن أيضا التلاعب بشكل منهجي بطبيعة هؤلاء الملذات، لإلقاء الضوء على ديناميات استخدام النماذج من العظة السياقية. نجد أنه على الرغم من أن النماذج تظهر في سياقات بسيطة لجعل التنبؤات بناء على فهم الحقائق ذات الصلة وتطبيقها من السياق المسبق، فإن وجود محتوى مشتت ولكنه غير ذي صرف له تأثير واضح في التنبؤات النموذجية المربكة. على وجه الخصوص، تظهر النماذج عرضة بشكل خاص لعوامل التشابه الدلالي وموقف كلمة. تتسق النتائج مع استنتاج مفادها أن تنبؤات LM مدفوعة بجزء كبير من العظة السياقية السطحية، وليس عن طريق تمثيلات قوية لمعنى السياق.
Pre-trained LMs have shown impressive performance on downstream NLP tasks, but we have yet to establish a clear understanding of their sophistication when it comes to processing, retaining, and applying information presented in their input. In this paper we tackle a component of this question by examining robustness of models' ability to deploy relevant context information in the face of distracting content. We present models with cloze tasks requiring use of critical context information, and introduce distracting content to test how robustly the models retain and use that critical information for prediction. We also systematically manipulate the nature of these distractors, to shed light on dynamics of models' use of contextual cues. We find that although models appear in simple contexts to make predictions based on understanding and applying relevant facts from prior context, the presence of distracting but irrelevant content has clear impact in confusing model predictions. In particular, models appear particularly susceptible to factors of semantic similarity and word position. The findings are consistent with the conclusion that LM predictions are driven in large part by superficial contextual cues, rather than by robust representations of context meaning.
References used
https://aclanthology.org/
Pre-trained language models (PrLM) have to carefully manage input units when training on a very large text with a vocabulary consisting of millions of words. Previous works have shown that incorporating span-level information over consecutive words i
In this study, we propose a self-supervised learning method that distils representations of word meaning in context from a pre-trained masked language model. Word representations are the basis for context-aware lexical semantics and unsupervised sema
Large language models benefit from training with a large amount of unlabeled text, which gives them increasingly fluent and diverse generation capabilities. However, using these models for text generation that takes into account target attributes, su
Modern transformer-based language models are revolutionizing NLP. However, existing studies into language modelling with BERT have been mostly limited to English-language material and do not pay enough attention to the implicit knowledge of language,
Pretrained language models (PTLMs) yield state-of-the-art performance on many natural language processing tasks, including syntax, semantics and commonsense. In this paper, we focus on identifying to what extent do PTLMs capture semantic attributes a