يجذب اهتمام الذات متعدد الرأس مؤخرا اهتماما هائلا بسبب وظائفه المتخصصة، والحساب المتوازي الهامة، والقابلية للتمويل المرن. ومع ذلك، تظهر الدراسات التجريبية الحديثة للغاية أن بعض رؤساء الانتباه الذاتي يكسبون مساهمة ضئيلة ويمكن تقليم رؤوس زائدة عن الحاج
ة. يأخذ هذا العمل منظورا جديدا لتحديد رؤساء الرؤوس الزائدة ثم الاكتتاب. نقترحنا طريقة توسيع الرأس الحيلية (RHE) لتحديد الرؤوس الزائدة، ثم تكمن إمكاناتها من خلال تعلم العلاقات النحوية والمعرفة السابقة في النص دون التضحية بأدوار رؤساء هامة. آليات اهتمام بناء على بناء الجملة رواية (البحر) الجديد: يتم تقديم تحيز قناع التبعية وتحيز من وضع الجمل المحلي النسبي، لمراجعة توزيعات الانتباه الذاتي لتحسين النحوي في الترجمة الآلية. يتم تقييم أهمية الرؤساء الفردية ديناميكيا أثناء تحديد الرؤوس الزائدة، حيث نطبقنا البحر على تنقل رؤوسا زائدة عن الحاجة مع الحفاظ على قوة الرؤوس المهمة. النتائج التجريبية على تبنيها على نطاق واسع WMT14 و WMT16 الإنجليزية إلى الألمانية والإنجليزية إلى اللغة التشيكية ترجمة آلة اللغة التشيكية تحقق من فعالية RHE.
تعتمد الترجمة الآلية عادة على Corpora الموازي لتوفير إشارات متوازية للتدريب.جلبت ظهور الترجمة الآلية غير المنشورة ترجمة آلة بعيدا عن هذا الاعتماد، على الرغم من أن الأداء لا يزال يتخلف عن الترجمة التقليدية للإشراف الآلية.في الترجمة الآلية غير المنشورة
، يسعى النموذج إلى أوجه تشابه لغة متماثلة كمصدر للإشارة الموازية الضعيفة لتحقيق الترجمة.إن نظرية تشومسكي العالمي النجمية تفترض أن القواعد هي شكل فطري من المعرفة للبشر ويحكمها المبادئ والقيود العالمية.لذلك، في هذه الورقة، نسعى إلى الاستفادة من هذه الأدلة القواعد المشتركة لتوفير إشارات متوازية لغة أكثر صراحة لتعزيز تدريب نماذج الترجمة الآلية غير المنشورة.من خلال تجارب على أزواج لغة متعددة النموذجية، نوضح فعالية مناهجنا المقترحة.
في الآونة الأخيرة، تم اقتراح عدد من الأساليب لتحسين أداء الترجمة للترجمة الآلية العصبية على مستوى المستند (NMT). ومع ذلك، فإن القليل من التركيز على موضوع تناسق الترجمة المعجمية. في هذه الورقة، نطبق ترجمة واحدة لكل خطاب "في NMT، وتهدف إلى تشجيع تناسق
الترجمة المعجمية ل NMT على مستوى المستند. تتم ثم نشجع ترجمة هذه الكلمات داخل رابط لتكون متسقة بطريقتين. من ناحية، عند ترميز الجمل داخل وثيقة نتخذها بشكل صحيح معلومات السياق من هذه الكلمات. من ناحية أخرى، نقترح وظيفة خسارة مساعدة إلى تقييد أفضل أن ترجمتهم يجب أن تكون متسقة. النتائج التجريبية على الصينية english والإنجليزية → توضح مهام الترجمة الفرنسية أن نهجنا لا يحقق فقط الأداء الحديث في درجات بلو، ولكن أيضا يحسن إلى حد كبير الاتساق المعجمي في الترجمة.
يتم استخدام أخذ العينات المجدولة على نطاق واسع للتخفيف من مشكلة تحيز التعرض الترجمة الآلية العصبية. الدافع الأساسي هو محاكاة مشهد الاستدلال أثناء التدريب من خلال استبدال الرموز الأرضية مع الرموز الرائعة المتوقعة، وبالتالي سد الفجوة بين التدريب والاست
دلال. ومع ذلك، فإن أخذ العينات المقررة للفانيليا تعتمد فقط على خطوات التدريب وعادل على قدم المساواة جميع خطوات فك التشفير. وهي تحاكي مشهد الاستدلال بمعدلات خطأ موحدة، والتي تفحص مشهد الاستدلال الحقيقي، حيث توجد خطوات فك التشفير الكبيرة عادة معدلات خطأ أعلى بسبب تراكم الخطأ. لتخفيف التناقض أعلاه، نقترح أساليب أخذ العينات المجدولة بناء على خطوات فك التشفير، مما يزيد من فرصة اختيار الرموز المتوقعة مع نمو خطوات فك التشفير. وبالتالي، يمكننا أن نحاكي أكثر واقعية المشهد الاستدلال أثناء التدريب، وبالتالي سد الفجوة بشكل أفضل بين التدريب والاستدلال. علاوة على ذلك، نحقق في أخذ العينات المجدولة بناء على كل من خطوات التدريب وفك تشفير الخطوات لمزيد من التحسينات. تجريبيا، فإن نهجنا تتفوق بشكل كبير على خط الأساس المحول وأخذ عينات من الفانيليا المجدولة على ثلاث مهام WMT واسعة النطاق. بالإضافة إلى ذلك، تعميم نهجنا أيضا بشكل جيد لمهمة تلخيص النص على معايير شعبية.
حققت الترجمة الآلية العصبية غير التلقائية، التي تتحلل الاعتماد على الرموز المستهدفة السابقة من مدخلات وحدة فك التشفير، تسريع استنتاج مثير للإعجاب ولكن بتكلفة الدقة السفلى. Works السابق توظف فك تشفير تكريري لتحسين الترجمة عن طريق تطبيق تكرارات تحسين م
تعددة. ومع ذلك، فإن العيب الخطير هو أن هذه الأساليب تعرض الضعف الخطير في الاعتراف بقطع الترجمة الخاطئة. في هذه الورقة، نقترح بنية المعمارية المسماة rewritenat للتعلم صراحة إعادة كتابة قطع الترجمة الخاطئة. على وجه التحديد، يستخدم ReWritEnat وحدة تحديد المواقع لتحديد موقع تلك الخاطئة، والتي يتم تنقيحها بعد ذلك في الوحدة النمطية الصحيحة. نحو الحفاظ على اتساق توزيع البيانات مع فك التشفير التكراري، يتم استخدام استراتيجية تدريبية تكرارية لزيادة تحسين قدرة إعادة كتابة. تظهر تجارب واسعة أجريت على العديد من المعايير المستخدمة على نطاق واسع أن إعادة البيع يمكن أن تحقق أداء أفضل مع تقليل وقت فك التشفير بشكل كبير، مقارنة باستراتيجيات فك التشفير السابقة السابقة. على وجه الخصوص، يمكن إعادة كتابة النتائج التنافسية مع الترجمة التلقائية على معايير الترجمة AutoreGressive على معايير الترجمة WMT14 EN-DE، EN-FR و WMT16 RO-en.
