ترغب بنشر مسار تعليمي؟ اضغط هنا

الترجمة الآلية العصبية Zero-Shot مع دورة التعلم الذاتي

Zero-Shot Neural Machine Translation with Self-Learning Cycle

370   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تعرض نهج الترجمة الآلية العصبية (NMT) التي توظف بيانات أحادية الأحادية تحسينات ثابتة في الظروف الغنية بالموارد. ومع ذلك، فإن التقييمات باستخدام لغات العالم الحقيقي LowResource لا تزال تؤدي إلى أداء غير مرضي. يقترح هذا العمل نهج نمذجة Zeroshot NMT NMT NMT يتعلم بدون افتراض لغة محورية الآن بتقاسم البيانات الموازية مع المصدر الصفر واللغات المستهدفة. يعتمد نهجنا على ثلاث مراحل: التهيئة من أي نموذج NMT المدرب مسبقا مراقبة اللغة المستهدفة على الأقل، وتعزيز جوانب المصدر التي تستفيد من بيانات الأحادية المستهدفة، وتعلم تحسين النموذج الأولي إلى زوج الطلقة الصفرية، حيث الأخيران تشكل دورة selflearyling. تظهر النتائج التجريبية التي تنطوي على أربعة متنوعة (من حيث أسرة اللغة، البرنامج النصي ورابطتها) أزواج صفرية بالرصاص فعالية نهجنا مع ما يصل إلى +5.93 لتحسين بلو على خط الأساس ثنائي اللغة الخاضع للإشراف. بالمقارنة مع NMT غير المدعومة، يلاحظ التحسينات المستمرة حتى في إعداد عدم تطابق المجال، مما يدل على قابلية استخدام طريقتنا.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

يركز العمل السابق بشكل رئيسي على تحسين التحويل عبر اللغات لمهام NLU مع ترميز مسبب متعدد اللغات (MPE)، أو تحسين الأداء على الترجمة الآلية الخاضعة للإشراف مع بيرت. ومع ذلك، فقد تم استكشافه أنه ما إذا كان يمكن أن يساعد MPE في تسهيل عملية النقل عبر اللغا ت لنموذج NMT. في هذه الورقة، نركز على مهمة نقل صفرية عبر اللغات في NMT. في هذه المهمة، يتم تدريب نموذج NMT مع مجموعة بيانات متوازية من زوج لغة واحدة فقط و MPE MPE على الرف، ثم يتم اختباره مباشرة على أزواج لغة الطلقة الصفرية. نقترح Sixt، نموذج بسيط ولكنه فعال لهذه المهمة. يستمتع Sixt بتطوير MPE بجدول تدريبي من مرحلتين ويحصل على مزيد من التحسن في موضع ترميز مفكيك ومكتشف محسن على القدرات. باستخدام هذه الطريقة، يتفوق Sixt بشكل كبير بشكل كبير على MBART، وهو نموذج فك تشفير التركيب متعدد اللغات مسبقا مصممة بشكل صريح ل NMT، مع تحسين متوسط ​​7.1 بلو على مجموعات اختبار صفرية عبر الإنترنت عبر 14 لغة مصدر. علاوة على ذلك، مع وجود بيانات تدريبية وتدريبية أقل بكثير من البيانات، يحقق نموذجنا أداء أفضل في 15 مجموعة اختبار من أي إلى الإنجليزية من Criss و M2M-100، خطين قويين متعدد اللغات NMT.
تتطلب أساليب التعلم المنهج الحالية للترجمة الآلية العصبية (NMT) أخذ العينات مبالغ كافية من العينات "من بيانات التدريب في مرحلة التدريب المبكر. هذا غير قابل للتحقيق دائما لغات الموارد المنخفضة حيث تكون كمية البيانات التدريبية محدودة. لمعالجة مثل هذا ا لقيد، نقترح نقه نهج تعليمي مناهج رواية حكيمة ينشئ كميات كافية من العينات السهلة. على وجه التحديد، يتعلم النموذج التنبؤ بتسلسل فرعي قصير من الجزء التالي من كل جملة مستهدفة في المرحلة المبكرة للتدريب. ثم يتم توسيع التسلسل الفرعي تدريجيا مع تقدم التدريب. مثل هذا التصميم المناهج الدراسي الجديد مستوحى من التأثير التراكمي لأخطاء الترجمة، مما يجعل الرموز الأخيرة أكثر تحديا للتنبؤ أكثر من البداية. تبين تجارب واسعة أن نهجنا يمكن أن تتفوق باستمرار على الأساس على خمسة أزواج لغات، خاصة لغات الموارد المنخفضة. يجمع بين نهجنا مع طرق مستوى الجملة يحسن أداء لغات الموارد العالية.
تقدم الورقة تجارب في الترجمة الآلية العصبية مع القيود المعجمية في لغة غنية مورمية.على وجه الخصوص، نقدم طريقة واستنادا إلى فك التشفير المقيد والتي تتعامل مع الأشكال المصدرة للإدخالات المعجمية ولا تتطلب أي تعديل بيانات التدريب أو الهندسة المعمارية النم وذجية.لتقييم فعاليتها ونقوم بإجراء تجارب في سيناريوهات مختلفة: عام ومخصص خاص.قارنا طريقنا مع ترجمة خط الأساس، وهي ترجمة بدون قيود معجمية ومن حيث سرعة الترجمة وجودة الترجمة.لتقييم مدى جودة معالجة القيود ونقترح مقاييس تقييم جديدة تأخذ في الاعتبار وجود وتنسيب وازدواجية وصحة الانهيار المصطلحات المعجمية في جملة الإخراج.
تهدف الترجمة التكيفية إلى تضمين ملاحظات المستخدمين بشكل حيوي لتحسين جودة الترجمة. في سيناريو ما بعد التحرير، يتم إدراج تصحيحات المستخدم لإخراج الترجمة الآلي باستمرار في نماذج الترجمة، أو تقليل أو إلغاء تحرير الأخطاء المتكررة وزيادة فائدة الترجمة الآل ية. في الترجمة الآلية العصبية، قد يتحقق هذا الهدف عبر مناهج التعلم عبر الإنترنت، حيث يتم تحديث معلمات الشبكة بناء على كل عينة جديدة. يتطلب هذا النوع من التكيف عادة معدلات تعليمية أعلى، والتي يمكن أن تؤثر على جودة النماذج مع مرور الوقت. بدلا من ذلك، قد تحافظ إعدادات التعلم عبر الإنترنت الأقل عدوانية على الاستقرار النموذجي، بتكلفة تقليل التكيف مع التصحيحات التي تم إنشاؤها بواسطة المستخدم. في هذا العمل، نقوم بتقييم تكوينات التعلم المختلفة عبر الإنترنت مع مرور الوقت، وقياس تأثيرها على العينات التي تم إنشاؤها من قبل المستخدم، وكذلك مجموعات بيانات داخل المجال والخروج من المجال. تشير النتائج في مجالين مختلفين إلى أن الأساليب المختلطة التي يجمع بين التعلم عبر الإنترنت مع ضبط الدفعة الدائمة قد تكون هناك حاجة إلى توازن بين فوائد التعلم عبر الإنترنت مع الاستقرار النموذجي.
عادة ما يتم تكليف الترجمة الآلية العصبية متعددة الموارد (MNMT) بتحسين أداء الترجمة على أزواج لغة واحدة أو أكثر بمساعدة أزواج لغة الموارد عالية الموارد.في هذه الورقة، نقترح اثنين من المناهج البحث البسيطة القائمة على البحث - طلب بيانات التدريب المتعدد اللغات - والتي تساعد على تحسين أداء الترجمة بالاقتران مع التقنيات الحالية مثل الضبط الدقيق.بالإضافة إلى ذلك، نحاول تعلم منهجا من المناهج الدراسية من MNMT من الصفر بالاشتراك مع تدريب نظام الترجمة باستخدام قطاع الطرق متعددة الذراع السياقية.نعرض على مجموعة بيانات الترجمة المنخفضة من Flores التي يمكن أن توفر هذه المناهج المستفادة نقاطا أفضل للضبط وتحسين الأداء العام لنظام الترجمة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا