تعاونت التمثيلات السياقية القائمة على نماذج اللغة العصبية حالة الفن في مختلف مهام NLP. على الرغم من نجاحها الكبير، فإن طبيعة هذه التمثيل لا تزال سرية. في هذه الورقة، نقدم ملكية تجريبية لهذه التمثيلات --- "المتوسط" "تقريب أول عنصر رئيسي". على وجه التحديد، تظهر التجارب أن متوسط هذه التمثيل يشارك نفس الاتجاه تقريبا مثل العنصر الرئيسي الأول في المصفوفة التي تعد أعمدة هذه التمثيلات. نعتقد أن هذا يفسر لماذا تمثيل متوسط هو دائما خط أساس بسيط ولكنه قوي. تظهر امتحاناتنا الإضافية أن هذه الخاصية تعقد أيضا سيناريوهات أكثر تحديا، على سبيل المثال، عندما تكون التمثيلات من نموذج مباشرة بعد تهيئةها العشوائية. لذلك، نحن نقوم بالتخمين أن هذه الخاصية هي جوهرية لتوزيع التمثيلات وعدم الصلة بالضرورة بنية الإدخال. نحن ندرك أن هذه التمثيلات متابعة تجريبيا توزيعا طبيعيا لكل بعد، ومن خلال افتراض أن هذا صحيح، نوضح أن الممتلكات التجريبية يمكن أن تكون في الواقع رياضيا.
Contextualized representations based on neural language models have furthered the state of the art in various NLP tasks. Despite its great success, the nature of such representations remains a mystery. In this paper, we present an empirical property of these representations---''average'' approximates first principal component''. Specifically, experiments show that the average of these representations shares almost the same direction as the first principal component of the matrix whose columns are these representations. We believe this explains why the average representation is always a simple yet strong baseline. Our further examinations show that this property also holds in more challenging scenarios, for example, when the representations are from a model right after its random initialization. Therefore, we conjecture that this property is intrinsic to the distribution of representations and not necessarily related to the input structure. We realize that these representations empirically follow a normal distribution for each dimension, and by assuming this is true, we demonstrate that the empirical property can be in fact derived mathematically.
References used
https://aclanthology.org/
Large pretrained language models using the transformer neural network architecture are becoming a dominant methodology for many natural language processing tasks, such as question answering, text classification, word sense disambiguation, text comple
Incremental processing allows interactive systems to respond based on partial inputs, which is a desirable property e.g. in dialogue agents. The currently popular Transformer architecture inherently processes sequences as a whole, abstracting away th
We study the problem of generating counterfactual text for a classifier as a means for understanding and debugging classification. Given a textual input and a classification model, we aim to minimally alter the text to change the model's prediction.
In this paper, we propose a new accurate and fast converging
independent component analysis algorithm.
High-performance neural language models have obtained state-of-the-art results on a wide range of Natural Language Processing (NLP) tasks. However, results for common benchmark datasets often do not reflect model reliability and robustness when appli