ترغب بنشر مسار تعليمي؟ اضغط هنا

فك التشفير الذكية للترجمة الآلية العصبية

Smart-Start Decoding for Neural Machine Translation

386   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تعتمد معظم نماذج الترجمة الآلية العصبية الحالية ترتيب فك التشفير الرخيصي إما من اليسار إلى اليمين أو اليمين إلى اليسار.في هذا العمل، نقترح طريقة رواية تنفصل قيود أوامر فك التشفير هذه، تسمى فك تشفير الذكية.وبشكل أكثر تحديدا، تتوقع طريقةنا أولا كلمة متوسط.يبدأ فك شفرة الكلمات الموجودة على الجانب الأيمن من الكلمة المتوسطة ثم يولد كلمات على اليسار.نحن نقيم طريقة فك التشفير الذكية المقترحة على ثلاث مجموعات البيانات.تظهر النتائج التجريبية أن الطريقة المقترحة يمكن أن تتفوق بشكل كبير على النماذج الأساسية القوية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نماذج الترجمة الآلية العصبية (NMT) هي مدفوعة بالبيانات وتتطلب كوربوس تدريب واسع النطاق. في التطبيقات العملية، عادة ما يتم تدريب نماذج NMT على مجال مجال عام ثم يتم ضبطه بشكل جيد من خلال التدريب المستمر على Corpus في المجال. ومع ذلك، فإن هذا يحمل خطر ا لنسيان الكارثي الذي ينخفض ​​فيه الأداء الموجود على المجال العام بشكل كبير. في هذا العمل، نقترح إطارا تعليميا مستمرا جديدا لنماذج NMT. نحن نعتبر سيناريو حيث يتألف التدريب من مراحل متعددة واقتراح تقنية تقطير معارف ديناميكية لتخفيف مشكلة النسيان الكارثي بشكل منهجي. نجد أيضا أن التحيز موجود في الإسقاط الخطي الإخراج عند ضبط جيد على Corpus في المجال، واقترح وحدة تصحيح التحيز للقضاء على التحيز. نقوم بإجراء تجارب في ثلاثة إعدادات تمثيلية لتطبيق NMT. تظهر النتائج التجريبية أن الطريقة المقترحة تحقق أداء فائقا مقارنة بالنماذج الأساسية في جميع الإعدادات.
حققت الترجمة الآلية العصبية غير الخاضعة للرقابة (UNMT) التي تعتمد فقط على Glassive Monolingual Corpora نتائج ملحوظة في العديد من مهام الترجمة.ومع ذلك، في سيناريوهات العالم الواقعي، لا توجد سورانيا أحادية الأبعاد الضخمة لبعض لغات الموارد المنخفضة للغا ية مثل أنظمة الإستونية، وعادة ما تؤدي أنظمة بعثة الأمم المتحدة في غرة الأبراج بشكل سيئ عندما لا يكون هناك كائنات تدريب كافية لغات واحدة.في هذه الورقة، نقوم أولا بتحديد وتحليل سيناريو البيانات التدريبية غير المتوازنة لإدارة بروتوكولية الكونغراف.استنادا إلى هذا السيناريو، نقترح آليات التدريب الذاتي لجهاز مكافآت لتدريب نظام INMT قوي وتحسين أدائها في هذه الحالة.تظهر النتائج التجريبية على العديد من أزواج اللغة أن الأساليب المقترحة تتفوق بشكل كبير على نظم التعطيب التقليدية.
يتم استخدام أخذ العينات المجدولة على نطاق واسع للتخفيف من مشكلة تحيز التعرض الترجمة الآلية العصبية. الدافع الأساسي هو محاكاة مشهد الاستدلال أثناء التدريب من خلال استبدال الرموز الأرضية مع الرموز الرائعة المتوقعة، وبالتالي سد الفجوة بين التدريب والاست دلال. ومع ذلك، فإن أخذ العينات المقررة للفانيليا تعتمد فقط على خطوات التدريب وعادل على قدم المساواة جميع خطوات فك التشفير. وهي تحاكي مشهد الاستدلال بمعدلات خطأ موحدة، والتي تفحص مشهد الاستدلال الحقيقي، حيث توجد خطوات فك التشفير الكبيرة عادة معدلات خطأ أعلى بسبب تراكم الخطأ. لتخفيف التناقض أعلاه، نقترح أساليب أخذ العينات المجدولة بناء على خطوات فك التشفير، مما يزيد من فرصة اختيار الرموز المتوقعة مع نمو خطوات فك التشفير. وبالتالي، يمكننا أن نحاكي أكثر واقعية المشهد الاستدلال أثناء التدريب، وبالتالي سد الفجوة بشكل أفضل بين التدريب والاستدلال. علاوة على ذلك، نحقق في أخذ العينات المجدولة بناء على كل من خطوات التدريب وفك تشفير الخطوات لمزيد من التحسينات. تجريبيا، فإن نهجنا تتفوق بشكل كبير على خط الأساس المحول وأخذ عينات من الفانيليا المجدولة على ثلاث مهام WMT واسعة النطاق. بالإضافة إلى ذلك، تعميم نهجنا أيضا بشكل جيد لمهمة تلخيص النص على معايير شعبية.
أثبتت الترجمة الآلية النموذجية على مستوى المستند (NMT) أنها ذات قيمة عميقة لفعاليتها في التقاط المعلومات السياقية. ومع ذلك، فإن الأساليب الحالية 1) تعرض ببساطة تمثيل أحكام السياق دون تمييز عملية التفكير بين الجملة؛ و 2) تغذية السياقات المستهدفة في ال حقيقة كدخلات إضافية في وقت التدريب، وبالتالي تواجه مشكلة تحيز التعرض. ونحن نقترب من هذه المشاكل مع إلهام من السلوك البشري - المترجمين البشري يظهر عادة مشروع ترجمة في أذهانهم وتنقيحها تدريجيا وفقا للمنطق في الخطاب. تحقيقا لهذه الغاية، نقترح محول رواية متعددة القفز (MHT) الذي يوفر قدرات NMT على نموذج عملية التحرير والتفكير الذي يشبه الإنسان بشكل صريح. على وجه التحديد، يخدم نموذجنا الترجمة على مستوى الجملة كمسودة ويحدد خصوصياتها بشكل صحيح من خلال حضور جمل متعددة غير متجانسة تكرارا. توضح التجارب على أربعة مهام ترجمة مستندات مستعملة على نطاق واسع أن طريقتنا يمكن أن تحسن بشكل كبير من أداء الترجمة على مستوى المستندات ويمكنها معالجة ظواهر الخطاب، مثل خطأ COMARACARE ومشكلة Polysemy.
أسئلة البحث الحديثة أهمية الاهتمام الذاتي لمنتج المنتج في نماذج المحولات ويظهر أن معظم رؤساء الاهتمام تعلم أنماطا موضعية بسيطة. في هذه الورقة، ندفع أبعد من ذلك في خط البحث هذا واقتراح آلية بديلة جديدة عن النفس: الاهتمام المتكرر (ران). تتعلم RAN بشكل مباشر أوزان الاهتمام دون أي تفاعل رمزي إلى رمز ويحسن قدرتها على تفاعل الطبقة إلى الطبقة. عبر مجموعة واسعة من التجارب في 10 مهام ترجمة آلية، نجد أن نماذج RAN تنافسية وتفوق نظيرها المحول في بعض السيناريوهات، مع عدد أقل من المعلمات ووقت الاستدلال. خاصة، عند تطبيق ركض إلى فك ترميز المحولات، يجلب التحسينات المتسقة عن طريق حوالي +0.5 بلو في 6 مهام الترجمة و +1.0 Bleu على مهمة الترجمة التركية الإنجليزية. بالإضافة إلى ذلك، نجرينا تحليلا مكثفا بشأن أوزان الاهتمام في ركض لتأكيد المعقولية. ران لدينا هو بديل واعد لبناء نماذج NMT أكثر فعالية وكفاءة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا