استغلال منهج التعلم في الترجمة الآلية العصبية غير المنشأة

أصبحت الترجمة المرجودة (BT) واحدة من مكونات الأمر الواقع في الترجمة الآلية العصبية غير المنشأة (UNMT)، ويجعل صراحة لديها القدرة على الترجمة. ومع ذلك، يتم التعامل مع جميع النصوص الثنائية الزائفة التي تم إنشاؤها بواسطة BT بنفس القدر كبيانات نظيفة أثناء التحسين دون النظر في تنوع الجودة، مما يؤدي إلى التقارب البطيء وأداء الترجمة المحدود. لمعالجة هذه المشكلة، نقترح طريقة تعلم المناهج الدراسية للاستفادة تدريجيا من النصوص الثنائية الزائفة القائمة على جودتها من التعبيات المتعددة. على وجه التحديد، نقوم أولا بتطبيق تضمين كلمة crosslingual لحساب صعوبة الترجمة المحتملة (الجودة) للجمل الأولية. بعد ذلك، يتم تغذية الجمل في برنامج التعريف الخاص ب UNMT من السهل إلى الدفعة الصلبة عن طريق الدفعة. علاوة على ذلك، بالنظر إلى جودة الجمل / الرموز في دفعة معينة هي متنوعة أيضا، فإننا نتخذ النموذج نفسه لحساب درجات الجودة المحبوبة بشكل جيد، والتي يتم تقديمها كعامل تعليمي لموازنة مساهمات أجزاء مختلفة عند فقد الحوسبة وتشجيعها نموذج UNMT للتركيز على البيانات الزائفة بجودة أعلى. النتائج التجريبية على WMT 14 EN-FR، WMT 14 EN-DE، WMT 16 EN-RO، و LDC EN-ZH توضح أن الطريقة المقترحة تحقق تحسينات ثابتة مع سرعة التقارب الأسرع.

Back-translation (BT) has become one of the de facto components in unsupervised neural machine translation (UNMT), and it explicitly makes UNMT have translation ability. However, all the pseudo bi-texts generated by BT are treated equally as clean data during optimization without considering the quality diversity, leading to slow convergence and limited translation performance. To address this problem, we propose a curriculum learning method to gradually utilize pseudo bi-texts based on their quality from multiple granularities. Specifically, we first apply crosslingual word embedding to calculate the potential translation difficulty (quality) for the monolingual sentences. Then, the sentences are fed into UNMT from easy to hard batch by batch. Furthermore, considering the quality of sentences/tokens in a particular batch are also diverse, we further adopt the model itself to calculate the fine-grained quality scores, which are served as learning factors to balance the contributions of different parts when computing loss and encourage the UNMT model to focus on pseudo data with higher quality. Experimental results on WMT 14 En-Fr, WMT 14 En-De, WMT 16 En-Ro, and LDC En-Zh translation tasks demonstrate that the proposed method achieves consistent improvements with faster convergence speed.