أظهرت الدراسات الحديثة أن النماذج المتبادلة المدربة مسبقا تحقق أداء مثير للإعجاب في المهام المتقاطعة المتبادلة. يستفيد هذا التحسن من تعلم كمية كبيرة من مونوللقي والموازيات. على الرغم من أنه من المعترف به عموما أن شركة فورانيا الموازية أمر بالغ الأهمي
ة لتحسين الأداء النموذجي، فإن الأساليب الحالية غالبا ما تكون مقيدة بحجم Corpora المتوازي، خاصة لغات الموارد المنخفضة. في هذه الورقة، نقترح Ernie-M، وهي طريقة تدريب جديدة تشجع النموذج على محاذاة تمثيل لغات متعددة مع شركة أحادية الأحادية، للتغلب على القيد أن أماكن حجم Corpus الموازي على الأداء النموذجي. إن رؤيتنا الرئيسية هي دمج الترجمة الخلفي في عملية التدريب المسبق. نحن نولد أزواج جملة زائفة بالموازاة على كائن أحادي مونولينغ لتمكين تعلم المحاذاات الدلالية بين لغات مختلفة، وبالتالي تعزيز النمذجة الدلالية للنماذج المتبقية. تظهر النتائج التجريبية أن Ernie-M يتفوق على النماذج الحالية عبر اللغات الحالية ويوفر نتائج حالة جديدة من بين الفنين في مختلف مهام المصب عبر اللغات. سيتم إجراء الرموز والنماذج المدربة مسبقا متاحة للجمهور.
