البيانات والمعلمة قوانين التحجيم للترجمة الآلية العصبية

نلاحظ أن التطوير فقدان انتروبيا فقدان نماذج الترجمة الآلية الخاضعة للإشراف على قوانين الطاقة بمقدار بيانات التدريب وعدد المعلمات غير التضمين في النموذج.نناقش بعض الآثار العملية لهذه النتائج، مثل التنبؤ بلو الذي تحققه نماذج واسعة النطاق وتوقع عائد الاستثمار من بيانات وضع العلامات في أزواج لغة الموارد المنخفضة.

We observe that the development cross-entropy loss of supervised neural machine translation models scales like a power law with the amount of training data and the number of non-embedding parameters in the model. We discuss some practical implications of these results, such as predicting BLEU achieved by large scale models and predicting the ROI of labeling data in low-resource language pairs.