مورفولوجيا المسائل: تحليل نمذجة لغة متعددة اللغات

دراسات مسبقة مجردة في النمذجة اللغوية متعددة اللغات (على سبيل المثال، كوتريل وآخرون، 2018؛ Mielke et al.، 2019) لا أوافق على ما إذا كانت مورفولوجيا الانهيار أو لا تجعل اللغات أكثر صعوبة في النموذج.نحاول حل الخلاف وتوسيع تلك الدراسات.نقوم بتجميع أكبر من كائن أكبر من 145 ترجمة للكتاب المقدس في 92 لغة وعدد أكبر من الميزات النموذجية .1 نقوم بملء البيانات النموذجية المفقودة لعدة لغات والنظر في تدابير تعتمد على Corpus من التعقيد المورفولوجي بالإضافة إلى الميزات النموذجية التي يتم إنتاجها من الخبراء.نجد أن العديد من التدابير المورفولوجية مرتبطة بشكل كبير بزيادة مفاجأة عندما يتم تدريب نماذج LSTM مع بيانات مجزأة BPE.نحقق أيضا استراتيجيات تجزئة الكلمات الفرعية ذات الدوافع اللغوية مثل مورفيسور ومحولات محولات الحالة المحدودة (FSTS) وتجد أن هذه استراتيجيات التجزئة تسفر عن أداء أفضل وتقليل تأثير مورفولوجيا اللغة على نمذجة اللغة.

Abstract Prior studies in multilingual language modeling (e.g., Cotterell et al., 2018; Mielke et al., 2019) disagree on whether or not inflectional morphology makes languages harder to model. We attempt to resolve the disagreement and extend those studies. We compile a larger corpus of 145 Bible translations in 92 languages and a larger number of typological features.1 We fill in missing typological data for several languages and consider corpus-based measures of morphological complexity in addition to expert-produced typological features. We find that several morphological measures are significantly associated with higher surprisal when LSTM models are trained with BPE-segmented data. We also investigate linguistically motivated subword segmentation strategies like Morfessor and Finite-State Transducers (FSTs) and find that these segmentation strategies yield better performance and reduce the impact of a language's morphology on language modeling.