التحقيق في SoftMax Heating للتدريب نماذج الترجمة الآلية العصبية

عادة ما يتم تدريب نماذج الترجمة الآلية العصبية (NMT) باستخدام فقدان انتروبيا Softmax حيث يتم مقارنة توزيع SoftMax بالملصقات الذهبية. في سيناريوهات منخفضة الموارد ونماذج NMT تميل إلى الأداء بشكل سيئ لأن التدريب النموذجي يتقارن بسرعة إلى نقطة حيث يتجاهل توزيع SoftMax باستخدام تسجيل الدخول إلى توزيع تسمية الذهب. على الرغم من أن تجانس الملصقات هو حل مشهور لمعالجة هذه المشكلة، فإننا نقترح مزيد من اقتراح تقسيم السجلات بواسطة معامل درجة الحرارة أكبر من واحد وإجبار توزيع SoftMax على أن يكون أكثر سلاسة أثناء التدريب. هذا يجعل من الصعب على النموذج بسرعة أكثر من اللازم. في تجاربنا على 11 أزواج لغوية في مجموعة بيانات Treebank الآسيوية المنخفضة الموارد، لاحظنا تحسينات كبيرة في جودة الترجمة. يركز تحليلنا على إيجاد التوازن الصحيح من تجانس الملصقات و SoftMax STIVING والتي تشير إلى أنها طرق متعامدة. وأخيرا، تكشف دراسة الانترشيات والتجميلات SoftMax عن تأثير طريقتنا على السلوك الداخلي لنماذج NMT الخاصة بنا.

Neural machine translation (NMT) models are typically trained using a softmax cross-entropy loss where the softmax distribution is compared against the gold labels. In low-resource scenarios and NMT models tend to perform poorly because the model training quickly converges to a point where the softmax distribution computed using logits approaches the gold label distribution. Although label smoothing is a well-known solution to address this issue and we further propose to divide the logits by a temperature coefficient greater than one and forcing the softmax distribution to be smoother during training. This makes it harder for the model to quickly over-fit. In our experiments on 11 language pairs in the low-resource Asian Language Treebank dataset and we observed significant improvements in translation quality. Our analysis focuses on finding the right balance of label smoothing and softmax tempering which indicates that they are orthogonal methods. Finally and a study of softmax entropies and gradients reveal the impact of our method on the internal behavior of our NMT models.