وصفنا تقديم نموذج Facebook متعدد اللغات إلى المهمة المشتركة WMT2021 على ترجمة الأخبار. نشارك في 14 لغة لغة: الإنجليزية من وإلى جمهورية التشيك، الألمانية، الهوسا، الأيسلاندية واليابانية والروسية والصينية. لتطوير النظم التي تغطي كل هذه الاتجاهات، نركز على نماذج متعددة اللغات. نحن نستخدم البيانات من جميع المصادر المتاحة --- WMT، استخراج البيانات واسعة النطاق، وخلفه في المجال --- لإنشاء خطوط أساسية عالية الجودة ثنائية اللغة ومهدي اللغات. بعد ذلك، نقوم بالتحقيق في استراتيجيات لتحجيم حجم النموذج متعدد اللغات، بحيث يحتوي نظام واحد على قدر كاف لتمثيلات عالية الجودة لجميع اللغات الثمانية. تقدمنا النهائي لدينا هو مجموعة من نماذج الترجمة متعددة اللغات كثيفة ومتفجار، تليها Finetuning على بيانات الأخبار داخل المجال وإعادة تأهب القناة الصاخبة. مقارنة بتقديم الطلبات في العام السابق، قام نظامنا متعدد اللغات بتحسين جودة الترجمة على جميع الاتجاهات اللغوية، مع تحسين متوسط 2.0 بلو. في مهمة WMT2021، يحتل نظامنا المرتبة الأولى في 10 اتجاهات بناء على التقييم التلقائي.