حققت الترجمة الآلية العصبية (NMT) طفرة كبيرة في الأداء ولكن من المعروف أن تعاني من الضعف للاضطرابات الإدخال.نظرا لأن ضوضاء المدخلات الحقيقية يصعب التنبؤ أثناء التدريب، فإن القوية هي مشكلة كبيرة لنشر النظام.في هذه الورقة، نحسن متانة نماذج NMT عن طريق تقليل تأثير الكلمات الصاخبة من خلال نهج إعادة الإعمار المحسن في السياق (CER).CER يدرب النموذج لمقاومة الضوضاء في خطوتين: (1) خطوة اضطراب يكسر طبيعية تسلسل الإدخال بكلمات مكونة؛(2) خطوة إعادة الإعمار التي تدافع عن انتشار الضوضاء من خلال توليد تمثيل سياقي أفضل وأكثر قوة.توضح نتائج تجريبية على مهام الترجمة الصينية والإنجليزية (ZH-en) والفرنسية-الإنجليزية (FR-EN) تحسين متانة على كل من الأخبار ونص وسائل التواصل الاجتماعي.وإظهار المزيد من التجارب الدقيقة على نص وسائل التواصل الاجتماعي أن نهجنا يمكن أن يتجاوز موقفا أعلى ويوفر تكيفا أفضل.
Neural Machine Translation (NMT) has achieved significant breakthrough in performance but is known to suffer vulnerability to input perturbations. As real input noise is difficult to predict during training, robustness is a big issue for system deployment. In this paper, we improve the robustness of NMT models by reducing the effect of noisy words through a Context-Enhanced Reconstruction (CER) approach. CER trains the model to resist noise in two steps: (1) perturbation step that breaks the naturalness of input sequence with made-up words; (2) reconstruction step that defends the noise propagation by generating better and more robust contextual representation. Experimental results on Chinese-English (ZH-EN) and French-English (FR-EN) translation tasks demonstrate robustness improvement on both news and social media text. Further fine-tuning experiments on social media text show our approach can converge at a higher position and provide a better adaptation.
المراجع المستخدمة
https://aclanthology.org/
على الرغم من العدد المتزايد من أنظمة الترجمة الآلية الكبيرة والشاملة (MT)، فقد تم تقييد تقييم هذه الأساليب بلغات مختلفة بسبب عدم وجود كورسا موازية عالية الجودة بالإضافة إلى المشاركة مع الأشخاص الذين يتحدثون هذه اللغات. في هذه الدراسة، نقدم تقييم مناه
حصلت نماذج اللغة العصبية عالية الأداء على نتائج أحدث النتائج على مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، غالبا ما لا تعكس نتائج البيانات القياسية المشتركة الموثوقية النموذجية والمتانة عند تطبيقها على بيانات صاخبة عالمية حقيقية. في
في توليد السؤال، يجب أن يكون السؤال الناتج يرتبطا جيدا وغالبا ما يتعلق بالإجابة بمثابة المدخلات. استمتعت أساليب الجيل العصبي في الغالب بالدليل التوزيعي للكلمات كإجراءات ذات معنى وتوليد أسئلة واحدة في وقت واحد. في هذه الورقة، نستكشف إمكانية الترميزات
ثبت أن أداء أنظمة NMT يعتمد على جودة بيانات التدريب.في هذه الورقة، نستكشف أدوات مختلفة مفتوحة المصدر التي يمكن استخدامها لتسجيل جودة أزواج الترجمة، بهدف الحصول على كورسا نظيفة لتدريب نماذج NMT.نقيس أداء هذه الأدوات من خلال ربط درجاتهم بالدرجات البشري
انفجار المحتوى الذي أنشأه المستخدم (UGC) --- E.G. وظائف وتعليقات وسائل التواصل الاجتماعي والتعليقات والمراجعات --- تحفز تطوير تطبيقات NLP مصممة على هذه الأنواع من النصوص غير الرسمية. السائدة بين هذه التطبيقات كانت تحليل المعنويات والترجمة الآلية (MT)