محول مكافحة تداخل الترجمة متعددة اللغات

تطوير نموذج متعدد اللغات موحدة كان هدف متابعة طويلا للترجمة الآلية.ومع ذلك، فإن الأساليب الحالية تعاني من تدهور الأداء - نموذج واحد متعدد اللغات أدنى من المتدربين بشكل منفصل ثنائي اللغة على لغات الموارد الغنية.نحن نقوم بالتخمين أن مثل هذه الظاهرة من المقرر أن تدخل جلبت عن طريق التدريب المشترك مع لغات متعددة.لاستيعاب المشكلة، نقترح CAIT، وهو نموذج محول تكييف مع معلمة صغيرة للنفقات العامة للترجمة الآلية متعددة اللغات.نقيم CAIT على مجموعات بيانات معيار متعددة، بما في ذلك IWSLT، OPUS-100، و WMT.تشير التجارب إلى أن CAIT تتفوق باستمرار على خطوط أساسية قوية متعددة اللغات في 64 من إجمالي 66 اتجاهات لغة، 42 منها أعلى من 0.5 تحسين بلو.

Developing a unified multilingual model has been a long pursuing goal for machine translation. However, existing approaches suffer from performance degradation - a single multilingual model is inferior to separately trained bilingual ones on rich-resource languages. We conjecture that such a phenomenon is due to interference brought by joint training with multiple languages. To accommodate the issue, we propose CIAT, an adapted Transformer model with a small parameter overhead for multilingual machine translation. We evaluate CIAT on multiple benchmark datasets, including IWSLT, OPUS-100, and WMT. Experiments show that the CIAT consistently outperforms strong multilingual baselines on 64 of total 66 language directions, 42 of which have above 0.5 BLEU improvement.