نقترح استخدام مهمة مكتملة متعددة الطبق لتقييم تمثيلات مورفوسنيتشية ل Adgeddings Word متعددة اللغات. هذا القرص في التحقيق الكنسي يجعل من السهل استكشاف تمثيلات مورفوسنيتشية، كلاهما بشكل كلي وعلى مستوى الميزات الفردية (على سبيل المثال، النوع الاجتماعي والعدد والحالة)، ويؤدي بشكل طبيعي إلى دراسة كيفية تعامل نماذج اللغة بالميزات المشتركة (على سبيل المثال ، ظواهر الاتفاقية). نوضح هذه المهمة مع بيرت متعددة اللغات (ديفلين وآخرون.، 2018)، تحقيقات تدريبية لسبعة لغات متنوعة من النطباء: الأفريكان، الكرواتية والفنلندية والعبرية والكورية والإسبانية والتركية. من خلال هذا النموذج البسيط ولكن القوي، نتحقق من أن الرصاص متعدد اللغات يتجه العديد من ميزات مورفوستينكتاكيتش في وقت واحد قابل للاستخراج. سنقوم كذلك بتقييم تحقيقات على ست لغات محمولة: العربية والصينية والماراثية والسلوفينية والتغالوغ و Yoruba. يحتوي هذا النمط المرتفع من التحقيق الصفرية على الاستفادة الإضافية للكشف عن الخصائص الشاملة اللغوية نموذج لغة يعترف بأنه مشترك لغات متعددة.
We propose using a multilabel probing task to assess the morphosyntactic representations of multilingual word embeddings. This tweak on canonical probing makes it easy to explore morphosyntactic representations, both holistically and at the level of individual features (e.g., gender, number, case), and leads more naturally to the study of how language models handle co-occurring features (e.g., agreement phenomena). We demonstrate this task with multilingual BERT (Devlin et al., 2018), training probes for seven typologically diverse languages: Afrikaans, Croatian, Finnish, Hebrew, Korean, Spanish, and Turkish. Through this simple but robust paradigm, we verify that multilingual BERT renders many morphosyntactic features simultaneously extractable. We further evaluate the probes on six held-out languages: Arabic, Chinese, Marathi, Slovenian, Tagalog, and Yoruba. This zero-shot style of probing has the added benefit of revealing which cross-linguistic properties a language model recognizes as being shared by multiple languages.
References used
https://aclanthology.org/
The outstanding performance of transformer-based language models on a great variety of NLP and NLU tasks has stimulated interest in exploration of their inner workings. Recent research has been primarily focused on higher-level and complex linguistic
The task of converting a nonstandard text to a standard and readable text is known as lexical normalization. Almost all the Natural Language Processing (NLP) applications require the text data in normalized form to build quality task-specific models.
Translation Studies and more specifically, its subfield Descriptive Translation Studies [Holmes 1988/2000] is, according to many scholars [Gambier, 2009; Nenopoulou, 2007; Munday, 2001/2008; Hermans, 1999; Snell-Hornby et al., 1994 e.t.c], a highly i
We investigate the representations learned by vision and language models in tasks that require relational reasoning. Focusing on the problem of assessing the relative size of objects in abstract visual contexts, we analyse both one-step and two-step
Conditioned dialogue generation suffers from the scarcity of labeled responses. In this work, we exploit labeled non-dialogue text data related to the condition, which are much easier to collect. We propose a multi-task learning approach to leverage