التحقيق تجارب التحقيق في مدى جعل التمثيل العصبي الممتلكات - مثل جزء من الكلام --- يمكن التنبؤ بها. يشير المرء إلى أن التمثيل يرمز عقار إذا كان التحقيق في هذا التمثيل ينتج دقة أعلى من التحقيق في تمثيل خط أساس مثل تضمين الكلمات غير السياقية. بدلا من استخدام خطوط الأساس كنقطة مقارنة، نحن مهتمون بقياس المعلومات الواردة في التمثيل ولكن ليس في الأساس. على سبيل المثال، يمكن للطرق الحالية اكتشافها عندما يكون التمثيل مفيدا أكثر من هوية الكلمة (خط الأساس) للتنبؤ بجزء خطاب؛ ومع ذلك، لا يمكنهم اكتشاف متى تمثل التمثيل من مجرد جوانب جزء من الكلام، ولا يفسره كلمة الهوية. في هذا العمل، نقوم بتوسيع نظرية المعلومات القابلة للاستخدام المسماة معلومات V واقتراح التحقيق الشريطي، والذي ظروف صراحة بشأن المعلومات في الأساس. في دراسة الحالة، نجد أنه بعد تكييفها على أشرطة الكلمات غير السياقية، يمكن الوصول إلى العقارات مثل جزء من الكلام في طبقات أعمق من الشبكة مما كان يعتقد سابقا.
Probing experiments investigate the extent to which neural representations make properties---like part-of-speech---predictable. One suggests that a representation encodes a property if probing that representation produces higher accuracy than probing a baseline representation like non-contextual word embeddings. Instead of using baselines as a point of comparison, we're interested in measuring information that is contained in the representation but not in the baseline. For example, current methods can detect when a representation is more useful than the word identity (a baseline) for predicting part-of-speech; however, they cannot detect when the representation is predictive of just the aspects of part-of-speech not explainable by the word identity. In this work, we extend a theory of usable information called V-information and propose conditional probing, which explicitly conditions on the information in the baseline. In a case study, we find that after conditioning on non-contextual word embeddings, properties like part-of-speech are accessible at deeper layers of a network than previously thought.
References used
https://aclanthology.org/
This work presents a novel four-stage open-domain QA pipeline R2-D2 (Rank twice, reaD twice). The pipeline is composed of a retriever, passage reranker, extractive reader, generative reader and a mechanism that aggregates the final prediction from al
This Paper aims to Studying the factors of Quality measurement in information
systems applied in telecommunications companies. The study is divided into four
main factors; the first factor is time which consists of four sub factors (Timelines,
upd
This paper describes the submission by the team from the Department of Computational Linguistics, Zurich University, to the Multilingual Grapheme-to-Phoneme Conversion (G2P) Task 1 of the SIGMORPHON 2021 challenge in the low and medium settings. The
In this paper, we explore the task of automatically generating natural language descriptions of salient patterns in a time series, such as stock prices of a company over a week. A model for this task should be able to extract high-level patterns such
We propose using a multilabel probing task to assess the morphosyntactic representations of multilingual word embeddings. This tweak on canonical probing makes it easy to explore morphosyntactic representations, both holistically and at the level of