ترغب بنشر مسار تعليمي؟ اضغط هنا

Alignart: ترجمة الآلات العصبية غير التلقائية من خلال التعلم المشترك لتقدير المحاذاة والترجمة

AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate

473   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تعاني نماذج الترجمة الآلية العصبية غير التلقائية (NART) من مشكلة الوسائط المتعددة والتي تسبب عدم تناسق الترجمة مثل تكرار الرمز المميز. حاولت معظم الأساليب الأخيرة حل هذه المشكلة من خلال النمذجة الضمنية التبعيات بين المخرجات. في هذه الورقة، نقدم Alignart، الذي يرفع معلومات المحاذاة الكاملة إلى تقليل طريقة التوزيع المستهدف بشكل صريح. تقسم AlignArt مهمة ترجمة الآلة في (1) تقدير المحاذاة و (2) الترجمة مع مدخلات فك تشفير محاذاة، توجيه وحدة فك التركيز للتركيز على الترجمة المبسطة الواحدة المبسطة. لتخفيف مشكلة تقدير المحاذاة، فإننا نقترح كذلك طريقة تحلل المحاذاة الجديدة. تظهر تجاربنا أن Alignart تفوق النماذج السابقة غير التكرارية التي تركز على تخفيض طريقة صريحة على WMT14 EN↔DE و WMT16 RO → EN. علاوة على ذلك، تحقق Alignart درجات بلو مماثلة لتلك النماذج القائمة على التصنيف الزمني للدولة من الفنون على WMT14 En↔de. نلاحظ أيضا أن Alignart يعالج بشكل فعال مشكلة تكرار الرمز المميز حتى دون تقطير المعرفة على مستوى التسلسل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حققت الترجمة الآلية العصبية غير التلقائية، التي تتحلل الاعتماد على الرموز المستهدفة السابقة من مدخلات وحدة فك التشفير، تسريع استنتاج مثير للإعجاب ولكن بتكلفة الدقة السفلى. Works السابق توظف فك تشفير تكريري لتحسين الترجمة عن طريق تطبيق تكرارات تحسين م تعددة. ومع ذلك، فإن العيب الخطير هو أن هذه الأساليب تعرض الضعف الخطير في الاعتراف بقطع الترجمة الخاطئة. في هذه الورقة، نقترح بنية المعمارية المسماة rewritenat للتعلم صراحة إعادة كتابة قطع الترجمة الخاطئة. على وجه التحديد، يستخدم ReWritEnat وحدة تحديد المواقع لتحديد موقع تلك الخاطئة، والتي يتم تنقيحها بعد ذلك في الوحدة النمطية الصحيحة. نحو الحفاظ على اتساق توزيع البيانات مع فك التشفير التكراري، يتم استخدام استراتيجية تدريبية تكرارية لزيادة تحسين قدرة إعادة كتابة. تظهر تجارب واسعة أجريت على العديد من المعايير المستخدمة على نطاق واسع أن إعادة البيع يمكن أن تحقق أداء أفضل مع تقليل وقت فك التشفير بشكل كبير، مقارنة باستراتيجيات فك التشفير السابقة السابقة. على وجه الخصوص، يمكن إعادة كتابة النتائج التنافسية مع الترجمة التلقائية على معايير الترجمة AutoreGressive على معايير الترجمة WMT14 EN-DE، EN-FR و WMT16 RO-en.
محول غير تلقائي هو نموذج توليد نص واعد.ومع ذلك، لا تزال النماذج الحالية غير التلقائية التي لا تزال تقف وراء نظرائها التلقائي في جودة الترجمة.نحن نعزو فجوة الدقة هذه إلى عدم وجود نمذجة التبعية بين مدخلات فك التشفير.في هذه الورقة، نقترح CNAT، والتي تتع لم الرموز الفئوية الضمنية بمثابة متغيرات كامنة في فك التشفير غير التشغيلي التشغيلي.إن التفاعل بين هذه الرموز الفئوية سيلم على التبعيات المفقودة ويحسن القدرة النموذجية.تظهر نتائج التجربة أن نموذجنا يحقق أداء قابلا أو أفضل في مهام الترجمة الآلية من العديد من خطوط الأساس القوية.
أظهرت نماذج الترجمة الآلية غير التلقائية (NAT) تسريعا كبيرا للاستدلال، لكنها تعاني من دقة ترجمة أدنى. الممارسة الشائعة لمعالجة المشكلة هي نقل الترجمة الآلية التلقائي (في) معرفة نماذج NAT، على سبيل المثال، مع تقطير المعرفة. في هذا العمل، نحن نفترض وال تحقق تجريبيا من أن ترميز اللوائح في و NAT التقاط خصائص لغوية مختلفة من الجمل المصدر. لذلك، نقترح اعتماد التعلم متعدد المهام لنقل المعرفة إلى نماذج NAT من خلال تقاسم التشفير. على وجه التحديد، نأخذ النموذج في المهمة المساعدة لتعزيز أداء نموذج NAT. تظهر النتائج التجريبية على مجموعات بيانات WMT14 EN-DE و WMT16 EN-RO أن المهمة المتعددة المقترحة NAT تحقق تحسينات كبيرة على نماذج الأساس NAT. علاوة على ذلك، تؤكد الأداء الموجود على مجموعات بيانات WMT19 و WMT20 و WMT20 واسعة النطاق اتساق طريقةنا المقترحة. بالإضافة إلى ذلك، توضح النتائج التجريبية أن لدينا NAT متعددة المهام لدينا مكملة لتقطير المعرفة، وسيلة نقل المعرفة القياسية لل NAT.
أصبحت الترجمة المرجودة (BT) واحدة من مكونات الأمر الواقع في الترجمة الآلية العصبية غير المنشأة (UNMT)، ويجعل صراحة لديها القدرة على الترجمة. ومع ذلك، يتم التعامل مع جميع النصوص الثنائية الزائفة التي تم إنشاؤها بواسطة BT بنفس القدر كبيانات نظيفة أثناء التحسين دون النظر في تنوع الجودة، مما يؤدي إلى التقارب البطيء وأداء الترجمة المحدود. لمعالجة هذه المشكلة، نقترح طريقة تعلم المناهج الدراسية للاستفادة تدريجيا من النصوص الثنائية الزائفة القائمة على جودتها من التعبيات المتعددة. على وجه التحديد، نقوم أولا بتطبيق تضمين كلمة crosslingual لحساب صعوبة الترجمة المحتملة (الجودة) للجمل الأولية. بعد ذلك، يتم تغذية الجمل في برنامج التعريف الخاص ب UNMT من السهل إلى الدفعة الصلبة عن طريق الدفعة. علاوة على ذلك، بالنظر إلى جودة الجمل / الرموز في دفعة معينة هي متنوعة أيضا، فإننا نتخذ النموذج نفسه لحساب درجات الجودة المحبوبة بشكل جيد، والتي يتم تقديمها كعامل تعليمي لموازنة مساهمات أجزاء مختلفة عند فقد الحوسبة وتشجيعها نموذج UNMT للتركيز على البيانات الزائفة بجودة أعلى. النتائج التجريبية على WMT 14 EN-FR، WMT 14 EN-DE، WMT 16 EN-RO، و LDC EN-ZH توضح أن الطريقة المقترحة تحقق تحسينات ثابتة مع سرعة التقارب الأسرع.
نماذج الترجمة العصبية متعددة اللغات تعامل مع لغة مصدر واحدة في وقت واحد.ومع ذلك، فقد أظهر العمل السابق أن الترجمة من لغات مصدر متعددة تعمل على تحسين جودة الترجمة.تختلف عن الأساليب الحالية على الترجمة المتعددة المصدر التي تقتصر على سيناريو الاختبار حي ث تتوفر جمل مصدر مواز من لغات متعددة في وقت الاستدلال، نقترح تحسين الترجمة متعددة اللغات في سيناريو أكثر شيوعا من خلال استغلال جمل المصدر الاصطناعية من اللغات المساعدة.نحن ندرب نموذجنا على شركة Synthetic متعددة المصدر، وتطبيق اخفاء عشوائي لتمكين الاستدلال المرن مع مدخلات مصدر واحد أو مصدر ثنائي.تجارب واسعة النطاق على الصينية / الإنجليزية - اليابانية ومقاييس الترجمة متعددة اللغات على نطاق واسع تشير إلى أن طرازنا يتفوق على خط الأساس متعدد اللغات بشكل كبير من أعلى إلى +4.0 بلو مع أكبر تحسينات على أزواج اللغات المنخفضة أو البعيدة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا