اكتسب نمذجة اللغة الطبيعية الكثير من الاهتمام مؤخرا.يتم تحقيق النتائج الحالية الحالية من خلال التدريب الأول نموذج لغة كبير جدا ثم قم بضبطه على مهام متعددة.ومع ذلك، هناك القليل من العمل على أحدث نماذج لغة أكثر إحكاما للأجهزة أو التطبيقات المحدودة للمورد.ناهيك عن، وكيفية تدريب هذه النماذج بكفاءة لغوية منخفضة الموارد مثل اللغة العربية.في هذه الورقة، نحقق في كيفية تدريب هذه النماذج بطريقة مدمجة للعربية.نوضح أيضا كيف يمكن تطبيق التقطير والتجميل لإنشاء نماذج أصغر.تبين تجاربنا أن أكبر نموذج لدينا هو 2x أصغر من خط الأساس يمكن أن يحقق نتائج أفضل على مهام متعددة مع بيانات أقل بنسبة 2X لإحاطاء.