نماذج Wikibert: التعلم العميق التعلم للعديد من اللغات

مكنت نماذج اللغة العصبية العميقة مثل بيرت التطورات الأخيرة في العديد من مهام معالجة اللغة الطبيعية. ومع ذلك، نظرا للجهد والتكلفة الحاسوبية المشاركة في التدريب المسبق لها، يتم إدخال هذه النماذج عادة فقط لعدد صغير من لغات الموارد عالية الوزن مثل اللغة الإنجليزية. في حين تتوفر نماذج متعددة اللغات التي تغطي أعدادا كبيرة من اللغات، فإن العمل الحديث يشير إلى أن التدريب أحادي الأحادي يمكن أن ينتج عن نماذج أفضل، وفهمنا للمفاضرة بين التدريب الأحادي وغير اللغوي غير مكتمل. في هذه الورقة، نقدم خط أنابيب بسيطة وأتمتة بالكامل لإنشاء نماذج بيرت الخاصة باللغة من البيانات من بيانات ويكيبيديا وإدخال 42 من هذه النماذج الجديدة، والأكثر من اللازم لغات حتى الآن تفتقر إلى نماذج اللغة العصبية العميقة المخصصة. نقوم بتقييم مزايا هذه النماذج باستخدام اختبارات Cloze و Autify Parser على بيانات التبعيات العالمية، والأداء المتناقض مع النتائج باستخدام طراز Bert (Mbert) متعدد اللغات. نجد أن نماذج WikiBert المقدمة حديثا تفوقت Mbert في اختبارات Cloze لجميع اللغات تقريبا، وأن uDify باستخدام نماذج Wikibert تفوق المحلل باستخدام Mbert في المتوسط، مع توضح الطرز الخاصة باللغة تحسين أداء محسنة بشكل كبير لبعض اللغات، ولكن تحسين محدود أو تحسين انخفاض في الأداء للآخرين. تتوفر جميع الطرق والنماذج المقدمة في هذا العمل تحت التراخيص المفتوحة من https://github.com/turkunlp/wikibert.

Deep neural language models such as BERT have enabled substantial recent advances in many natural language processing tasks. However, due to the effort and computational cost involved in their pre-training, such models are typically introduced only for a small number of high-resource languages such as English. While multilingual models covering large numbers of languages are available, recent work suggests monolingual training can produce better models, and our understanding of the tradeoffs between mono- and multilingual training is incomplete. In this paper, we introduce a simple, fully automated pipeline for creating language-specific BERT models from Wikipedia data and introduce 42 new such models, most for languages up to now lacking dedicated deep neural language models. We assess the merits of these models using cloze tests and the state-of-the-art UDify parser on Universal Dependencies data, contrasting performance with results using the multilingual BERT (mBERT) model. We find that the newly introduced WikiBERT models outperform mBERT in cloze tests for nearly all languages, and that UDify using WikiBERT models outperforms the parser using mBERT on average, with the language-specific models showing substantially improved performance for some languages, yet limited improvement or a decrease in performance for others. All of the methods and models introduced in this work are available under open licenses from https://github.com/turkunlp/wikibert.