Surprise Language Challenge: Developing a Neural Machine Translation System between Pashto and English in Two Months

في صناعة وسائل الإعلام وتركيز التقارير العالمية قد تحول بين عشية وضحاها. هناك حاجة ملحة إلى أن تكون قادرة على تطوير أنظمة ترجمة آلية جديدة في فترة زمنية قصيرة وللغطي بشكل أكثر كفاءة تطوير القصص بسرعة أكبر. كجزء من مشروع EU Gourmet ورفع التركيز على الترجمة ذات الآلات المنخفضة وشركاؤنا الإعلامي لغة مفاجئة يجب أن يتم بناء نظام الترجمة الآلي وتقييمه خلال شهرين (فبراير وآذار / مارس 2021). كانت اللغة المختارة كانت الباشتونية ولغة هندية إيرانية تحدثت في أفغانستان وباكستان والهند. في هذه الفترة، أكملنا خط الأنابيب الكامل لتنمية نظام الترجمة الآلية العصبية: الزحف البيانات والتنظيف ومحاذاة وإنشاء مجموعات الاختبار وتطوير ونماذج الاختبار وتقديمها إلى شركاء المستخدمين. في هذه الورق، نطبق إنشاء البيانات والتجارب السريعة مع التعلم والنقل الاحتياطي لهذا زوج لغة الموارد المنخفضة. نجد أن بدءا من نموذج كبير موجود مدرب مسبقا على 50 لغة يؤدي إلى نتائج بلو أفضل بكثير من الاحيلية على زوج لغة موارد عالية مع نموذج أصغر. نقدم أيضا تقييم بشري لأنظمنا والتي تشير إلى أن النظم الناتجة أداء أفضل من النظام التجاري المتاح بحرية عند ترجمة من اللغة الإنجليزية إلى اتجاه البشتونية وبالمثل عند ترجمة من البشتو إلى الإنجليزية.

In the media industry and the focus of global reporting can shift overnight. There is a compelling need to be able to develop new machine translation systems in a short period of time and in order to more efficiently cover quickly developing stories. As part of the EU project GoURMET and which focusses on low-resource machine translation and our media partners selected a surprise language for which a machine translation system had to be built and evaluated in two months(February and March 2021). The language selected was Pashto and an Indo-Iranian language spoken in Afghanistan and Pakistan and India. In this period we completed the full pipeline of development of a neural machine translation system: data crawling and cleaning and aligning and creating test sets and developing and testing models and and delivering them to the user partners. In this paperwe describe rapid data creation and experiments with transfer learning and pretraining for this low-resource language pair. We find that starting from an existing large model pre-trained on 50languages leads to far better BLEU scores than pretraining on one high-resource language pair with a smaller model. We also present human evaluation of our systems and which indicates that the resulting systems perform better than a freely available commercial system when translating from English into Pashto direction and and similarly when translating from Pashto into English.