CZERT - نموذج تشبه التشيكية يشبه تمثيل اللغة

تصف هذه الورقة العملية التدريبية لأول نماذج تمثيل اللغة الابتدائية الأولى بناء على بنية بيرت وألبرت.نقوم بتدريب نماذجنا مسبقا على أكثر من 340 كيلو من الجمل، والتي تبلغ أكثر من 50 مرة أكثر من نماذج متعددة اللغات التي تشمل البيانات التشيكية.نحن نتفوق النماذج متعددة اللغات في 9 من أصل 11 مجموعات من مجموعات البيانات.بالإضافة إلى ذلك، فإننا نؤسس النتائج الجديدة للدولة الجديدة على تسعة مجموعات البيانات.في النهاية، نقوم بمناقشة خصائص النماذج الأولية متعددة اللغات بناء على نتائجنا.نقوم بنشر جميع النماذج المدربة ومضبوطة مسبقا بحرية لمجتمع البحث.

This paper describes the training process of the first Czech monolingual language representation models based on BERT and ALBERT architectures. We pre-train our models on more than 340K of sentences, which is 50 times more than multilingual models that include Czech data. We outperform the multilingual models on 9 out of 11 datasets. In addition, we establish the new state-of-the-art results on nine datasets. At the end, we discuss properties of monolingual and multilingual models based upon our results. We publish all the pre-trained and fine-tuned models freely for the research community.