أظهرت النماذج المتعددة اللغات المدربة مسبقا فعاليتها في العديد من مهام NLP متعددة اللغات وتمكن من نقل الصفر أو القليل من التحويلات من لغات الموارد العالية إلى الموارد المنخفضة. ومع ذلك، نظرا للاختلافات والتناقضات النموذجية الكبرى بين بعض اللغات، عادة
ما تؤدي هذه النماذج بشكل سيء على العديد من اللغات والإعدادات المتبادلة، والتي تظهر صعوبة في تعلم نموذج واحد للتعامل مع لغات متنوعة واسعة النظافة في نفس الوقت. لتخفيف هذه المشكلة، نقدم خط أنابيب ما قبل اللغات متعددة اللغات. نقترح إنشاء تمثيل لغة من النموذج متعدد اللغات مسبقا وإجراء التحليل اللغوي لإظهار أن تشابه تمثيل اللغة يعكس التشابه اللغوي من وجهات نظر متعددة، بما في ذلك أسرة اللغة، Sprachbund الجغرافية، وقاميا، وبناء جملة. ثم نحن ألمع جميع اللغات المستهدفة في مجموعات متعددة وتسمية كل مجموعة كتمثيل Sprachbund. وهكذا، من المفترض أن تعزز اللغات في نفس التمثيل SPRACHBUND بعضها البعض في كل من التدريب المسبق والضبط بشكل جيد لأنها تشترك في التشابه اللغوي الغني. نحن ندرج مسبقا نموذج واحد متعدد اللغات لكل تمثيل Sprachbund. يتم إجراء التجارب على المعايير المتبادلة وتحقيق تحسينات كبيرة مقارنة مع خطوط الأساس القوية.
