يتم استخدام أخذ العينات المجدولة على نطاق واسع للتخفيف من مشكلة تحيز التعرض الترجمة الآلية العصبية. الدافع الأساسي هو محاكاة مشهد الاستدلال أثناء التدريب من خلال استبدال الرموز الأرضية مع الرموز الرائعة المتوقعة، وبالتالي سد الفجوة بين التدريب والاستدلال. ومع ذلك، فإن أخذ العينات المقررة للفانيليا تعتمد فقط على خطوات التدريب وعادل على قدم المساواة جميع خطوات فك التشفير. وهي تحاكي مشهد الاستدلال بمعدلات خطأ موحدة، والتي تفحص مشهد الاستدلال الحقيقي، حيث توجد خطوات فك التشفير الكبيرة عادة معدلات خطأ أعلى بسبب تراكم الخطأ. لتخفيف التناقض أعلاه، نقترح أساليب أخذ العينات المجدولة بناء على خطوات فك التشفير، مما يزيد من فرصة اختيار الرموز المتوقعة مع نمو خطوات فك التشفير. وبالتالي، يمكننا أن نحاكي أكثر واقعية المشهد الاستدلال أثناء التدريب، وبالتالي سد الفجوة بشكل أفضل بين التدريب والاستدلال. علاوة على ذلك، نحقق في أخذ العينات المجدولة بناء على كل من خطوات التدريب وفك تشفير الخطوات لمزيد من التحسينات. تجريبيا، فإن نهجنا تتفوق بشكل كبير على خط الأساس المحول وأخذ عينات من الفانيليا المجدولة على ثلاث مهام WMT واسعة النطاق. بالإضافة إلى ذلك، تعميم نهجنا أيضا بشكل جيد لمهمة تلخيص النص على معايير شعبية.
Scheduled sampling is widely used to mitigate the exposure bias problem for neural machine translation. Its core motivation is to simulate the inference scene during training by replacing ground-truth tokens with predicted tokens, thus bridging the gap between training and inference. However, vanilla scheduled sampling is merely based on training steps and equally treats all decoding steps. Namely, it simulates an inference scene with uniform error rates, which disobeys the real inference scene, where larger decoding steps usually have higher error rates due to error accumulations. To alleviate the above discrepancy, we propose scheduled sampling methods based on decoding steps, increasing the selection chance of predicted tokens with the growth of decoding steps. Consequently, we can more realistically simulate the inference scene during training, thus better bridging the gap between training and inference. Moreover, we investigate scheduled sampling based on both training steps and decoding steps for further improvements. Experimentally, our approaches significantly outperform the Transformer baseline and vanilla scheduled sampling on three large-scale WMT tasks. Additionally, our approaches also generalize well to the text summarization task on two popular benchmarks.
المراجع المستخدمة
https://aclanthology.org/
في الآونة الأخيرة، تم اقتراح عدد من الأساليب لتحسين أداء الترجمة للترجمة الآلية العصبية على مستوى المستند (NMT). ومع ذلك، فإن القليل من التركيز على موضوع تناسق الترجمة المعجمية. في هذه الورقة، نطبق ترجمة واحدة لكل خطاب "في NMT، وتهدف إلى تشجيع تناسق
حققت الترجمة الآلية العصبية غير التلقائية، التي تتحلل الاعتماد على الرموز المستهدفة السابقة من مدخلات وحدة فك التشفير، تسريع استنتاج مثير للإعجاب ولكن بتكلفة الدقة السفلى. Works السابق توظف فك تشفير تكريري لتحسين الترجمة عن طريق تطبيق تكرارات تحسين م
تعتمد الترجمة الآلية عادة على Corpora الموازي لتوفير إشارات متوازية للتدريب.جلبت ظهور الترجمة الآلية غير المنشورة ترجمة آلة بعيدا عن هذا الاعتماد، على الرغم من أن الأداء لا يزال يتخلف عن الترجمة التقليدية للإشراف الآلية.في الترجمة الآلية غير المنشورة
تعتمد معظم نماذج الترجمة الآلية العصبية الحالية ترتيب فك التشفير الرخيصي إما من اليسار إلى اليمين أو اليمين إلى اليسار.في هذا العمل، نقترح طريقة رواية تنفصل قيود أوامر فك التشفير هذه، تسمى فك تشفير الذكية.وبشكل أكثر تحديدا، تتوقع طريقةنا أولا كلمة مت
يجذب اهتمام الذات متعدد الرأس مؤخرا اهتماما هائلا بسبب وظائفه المتخصصة، والحساب المتوازي الهامة، والقابلية للتمويل المرن. ومع ذلك، تظهر الدراسات التجريبية الحديثة للغاية أن بعض رؤساء الانتباه الذاتي يكسبون مساهمة ضئيلة ويمكن تقليم رؤوس زائدة عن الحاج