تعلم المناهج ذاتية الذاتية للترجمة الآلية العصبية

في التعلم الخاضع للإشراف، يجب أن يكون نموذج مدرب جيدا قادرا على استعادة الحقيقة الأرضية بدقة، أي التسميات المتوقعة من المتوقع أن تشبه تسميات الحقيقة الأرضية قدر الإمكان.مستوحاة من ذلك، فإننا صياغة معيارا صعوبة بناء على درجات الاسترداد من أمثلة التدريب.بدافع من الحدس أنه بعد القشط من خلال كوربوس التدريب، يعرف طراز الترجمة الآلية العصبية (NMT) "كيفية جدولة منهج مناسب وفقا لتعلم صعوبة التعلم، نقترح استراتيجية تعلم المناهج الدراسية الموجهة ذاتيا تشجع نموذج NMT للتعلممن سهولة الصعب على أساس درجات الاسترداد.على وجه التحديد، نعتمد درجة بلو على مستوى الجملة باعتبارها وكيل درجة الاسترداد.النتائج التجريبية على معايير الترجمة بما في ذلك WMT14 الإنجليزية والألمانية و WMT17 الصينية - الإنجليزية إظهار أن طريقتنا المقترحة تعمل بشكل كبير على تحسين درجة الاسترداد، وبالتالي تحسين أداء الترجمة باستمرار.

In supervised learning, a well-trained model should be able to recover ground truth accurately, i.e. the predicted labels are expected to resemble the ground truth labels as much as possible. Inspired by this, we formulate a difficulty criterion based on the recovery degrees of training examples. Motivated by the intuition that after skimming through the training corpus, the neural machine translation (NMT) model knows'' how to schedule a suitable curriculum according to learning difficulty, we propose a self-guided curriculum learning strategy that encourages the NMT model to learn from easy to hard on the basis of recovery degrees. Specifically, we adopt sentence-level BLEU score as the proxy of recovery degree. Experimental results on translation benchmarks including WMT14 English-German and WMT17 Chinese-English demonstrate that our proposed method considerably improves the recovery degree, thus consistently improving the translation performance.