نهج متعدد الطبق إلى التحقيق المورفوسنكت

نقترح استخدام مهمة مكتملة متعددة الطبق لتقييم تمثيلات مورفوسنيتشية ل Adgeddings Word متعددة اللغات. هذا القرص في التحقيق الكنسي يجعل من السهل استكشاف تمثيلات مورفوسنيتشية، كلاهما بشكل كلي وعلى مستوى الميزات الفردية (على سبيل المثال، النوع الاجتماعي والعدد والحالة)، ويؤدي بشكل طبيعي إلى دراسة كيفية تعامل نماذج اللغة بالميزات المشتركة (على سبيل المثال ، ظواهر الاتفاقية). نوضح هذه المهمة مع بيرت متعددة اللغات (ديفلين وآخرون.، 2018)، تحقيقات تدريبية لسبعة لغات متنوعة من النطباء: الأفريكان، الكرواتية والفنلندية والعبرية والكورية والإسبانية والتركية. من خلال هذا النموذج البسيط ولكن القوي، نتحقق من أن الرصاص متعدد اللغات يتجه العديد من ميزات مورفوستينكتاكيتش في وقت واحد قابل للاستخراج. سنقوم كذلك بتقييم تحقيقات على ست لغات محمولة: العربية والصينية والماراثية والسلوفينية والتغالوغ و Yoruba. يحتوي هذا النمط المرتفع من التحقيق الصفرية على الاستفادة الإضافية للكشف عن الخصائص الشاملة اللغوية نموذج لغة يعترف بأنه مشترك لغات متعددة.

We propose using a multilabel probing task to assess the morphosyntactic representations of multilingual word embeddings. This tweak on canonical probing makes it easy to explore morphosyntactic representations, both holistically and at the level of individual features (e.g., gender, number, case), and leads more naturally to the study of how language models handle co-occurring features (e.g., agreement phenomena). We demonstrate this task with multilingual BERT (Devlin et al., 2018), training probes for seven typologically diverse languages: Afrikaans, Croatian, Finnish, Hebrew, Korean, Spanish, and Turkish. Through this simple but robust paradigm, we verify that multilingual BERT renders many morphosyntactic features simultaneously extractable. We further evaluate the probes on six held-out languages: Arabic, Chinese, Marathi, Slovenian, Tagalog, and Yoruba. This zero-shot style of probing has the added benefit of revealing which cross-linguistic properties a language model recognizes as being shared by multiple languages.