تقييم Multiway Multiling NMT في اللغات التركية

على الرغم من العدد المتزايد من أنظمة الترجمة الآلية الكبيرة والشاملة (MT)، فقد تم تقييد تقييم هذه الأساليب بلغات مختلفة بسبب عدم وجود كورسا موازية عالية الجودة بالإضافة إلى المشاركة مع الأشخاص الذين يتحدثون هذه اللغات. في هذه الدراسة، نقدم تقييم مناهج أحدث من النهج التدريبية لتدريب وتقييم أنظمة MT في 22 لغة من عائلة اللغات التركية، معظمها يتم استكشافها بشكل كبير. أولا، نعتمد كوربوس سمسم مع بعض التحسينات الرئيسية على التدريب ومجموعات التقييم. ثم، ندرب 26 خطوط خطوط خطوط خطية ثنائية اللغة بالإضافة إلى نموذج MT (MNMT) متعدد الاتجاهات باستخدام Corpus وأداء تحليل مكثف باستخدام المقاييس التلقائية وكذلك التقييمات البشرية. نجد أن نموذج MNMT يتفوق على جميع خطوط الأساس الثنائية الثالثة تقريبا في مجموعات الاختبار خارج المجال وتؤدي النموذج الموجود على مهمة المصب من زوج واحد يؤدي أيضا إلى زيادة كبيرة في الأداء في كل من سيناريوهات منخفضة وعالية الموارد. يشير تحليلنا اليقظ لمعايير التقييم لنماذج MT باللغات التركية أيضا إلى ضرورة مزيد من البحث في هذا الاتجاه. نقوم بإصدار تقسيم Corpus، ومجموعات الاختبار وكذلك النماذج للجمهور.

Despite the increasing number of large and comprehensive machine translation (MT) systems, evaluation of these methods in various languages has been restrained by the lack of high-quality parallel corpora as well as engagement with the people that speak these languages. In this study, we present an evaluation of state-of-the-art approaches to training and evaluating MT systems in 22 languages from the Turkic language family, most of which being extremely under-explored. First, we adopt the TIL Corpus with a few key improvements to the training and the evaluation sets. Then, we train 26 bilingual baselines as well as a multi-way neural MT (MNMT) model using the corpus and perform an extensive analysis using automatic metrics as well as human evaluations. We find that the MNMT model outperforms almost all bilingual baselines in the out-of-domain test sets and finetuning the model on a downstream task of a single pair also results in a huge performance boost in both low- and high-resource scenarios. Our attentive analysis of evaluation criteria for MT models in Turkic languages also points to the necessity for further research in this direction. We release the corpus splits, test sets as well as models to the public.