عادة ما يتم تدريب نماذج الترجمة الآلية العصبية (NMT) باستخدام فقدان انتروبيا Softmax حيث يتم مقارنة توزيع SoftMax بالملصقات الذهبية. في سيناريوهات منخفضة الموارد ونماذج NMT تميل إلى الأداء بشكل سيئ لأن التدريب النموذجي يتقارن بسرعة إلى نقطة حيث يتجاه
ل توزيع SoftMax باستخدام تسجيل الدخول إلى توزيع تسمية الذهب. على الرغم من أن تجانس الملصقات هو حل مشهور لمعالجة هذه المشكلة، فإننا نقترح مزيد من اقتراح تقسيم السجلات بواسطة معامل درجة الحرارة أكبر من واحد وإجبار توزيع SoftMax على أن يكون أكثر سلاسة أثناء التدريب. هذا يجعل من الصعب على النموذج بسرعة أكثر من اللازم. في تجاربنا على 11 أزواج لغوية في مجموعة بيانات Treebank الآسيوية المنخفضة الموارد، لاحظنا تحسينات كبيرة في جودة الترجمة. يركز تحليلنا على إيجاد التوازن الصحيح من تجانس الملصقات و SoftMax STIVING والتي تشير إلى أنها طرق متعامدة. وأخيرا، تكشف دراسة الانترشيات والتجميلات SoftMax عن تأثير طريقتنا على السلوك الداخلي لنماذج NMT الخاصة بنا.
