ترغب بنشر مسار تعليمي؟ اضغط هنا

الاستغلال المباشر من الأوزان الاهتمام لتقدير جودة الترجمة

Direct Exploitation of Attention Weights for Translation Quality Estimation

347   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تقدم الورقة تقديمنا إلى المهمة المشتركة WMT2021 بشأن تقدير الجودة (QE).نشارك في تنبؤات مستوى الجملة للأحكام البشرية وجهد ما بعد التحرير.نقترح نهج زجاجي مربع بناء على الاهتمام للأوزان المستخرجة من أنظمة الترجمة الآلية.على النقيض من الأعمال السابقة، نستكشف مباشرة مصفوفات وزن الاهتمام دون استبدالها بمقاييس عامة (مثل Entropy).نظهر أن بعض نماذجنا يمكن تدريبها بكمية صغيرة من البيانات ذات التكلفة العالية.في غياب البيانات التدريبية، لا يزال نهجنا يوضح ارتباطا خطيا معتدلا، عند تدريب البيانات الاصطناعية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

يعد تقدير الجودة (QE) مكونا هاما لسير عمل الترجمة الآلي لأنه يقيم جودة الإخراج المترجم دون الترجمات المرجعية الاستشارية.في هذه الورقة، نناقش التقديم لدينا إلى المهمة المشتركة WMT 2021 QE.إننا نشارك في المهمة الفرعية الفرعية على مستوى الجملة 2 المهام التي تتحدى المشاركين للتنبؤ بدرجة HTER من أجل جهد التحرير على مستوى الجملة.نظامنا المقترح هو مجموعة من نماذج الانحدار من بيرت (mbert) متعددة اللغات، والتي يتم إنشاؤها بواسطة ضبط صقلها على إعدادات الإدخال المختلفة.يوضح أداء قابلا للمقارنة فيما يتعلق بترابط بيرسون، وتغلب على نظام الأساس في ماي / رموز لعدة أزواج اللغة.بالإضافة إلى ذلك، نقوم بتكييف نظامنا لإعداد اللقطة الصفرية من خلال استغلال أزواج اللغة ذات الصلة بالغة والترجمات المرجعية الزائفة.
تصف هذه الورقة تقديم Papago إلى مهمة تقدير الجودة WMT 2021 1: التقييم المباشر على مستوى الجملة.يستكشف نظام تقدير الجودة متعدد اللغات لدينا مزيج من نماذج اللغة المحددة مسبقا وبنية التعلم متعددة المهام.نقترح خط أنابيب تدريب تكراري يعتمد على ما يحقظ بكم يات كبيرة من البيانات الاصطناعية داخل المجال وتصفية البيانات الذهبية (المسمى).ثم قمنا بضغط نظامنا عبر تقطير المعرفة من أجل تقليل المعلمات بعد الحفاظ على أداء قوي.تنفذ أنظمتنا متعددة اللغات متعددة اللغات بشكل تنافسي في تعدد اللغات وجميع إعدادات زوج اللغة الفردية 11 بما في ذلك صفر النار.
تقدم هذه الورقة التقديم المشترك JHU-Microsoft لتقدير جودة WMT 2021 المهمة المشتركة.نحن نشارك فقط في المهمة 2 (تقدير جهود ما بعد التحرير) للمهمة المشتركة، مع التركيز على تقدير الجودة على مستوى الكلمات المستهدف.التقنيات التي تجربناها مع تضمين تدريب محو ل Levenshtein وتعزيز البيانات مع مجموعة من الترجمة الأمامية والخلفية والرحلة الدائرية، والتحرير الزائف بعد إخراج MT.نوضح القدرة التنافسية لنظامنا مقارنة بناسي Openkiwi-XLM المعتمد على نطاق واسع.نظامنا هو أيضا نظام الترتيب العلوي في متري MT MCC لزوج اللغة الإنجليزية والألمانية.
يقدم هذا العمل مجموعة متنوعة بسيطة لتقييم جودة الترجمة الآلية بناء على مجموعة من الرواية ومقاييس ثابتة.نقيم الفرقة باستخدام ارتباط لعشرات MQM القائم على الخبراء ورشة عمل WMT 2021 المقاييس.في كل من إعدادات المونولينغوية والصفرية القصيرة، نعرض تحسنا كب يرا في الأداء على مقاييس واحدة.في الإعدادات المتبادلة، نوضح أيضا أن نهج الفرع ينطبق جيدا على اللغات غير المرئية.علاوة على ذلك، نحدد خط أساس قوي خال من المرجعية التي تتفوق باستمرار على تدابير بلو واستخدامها بشكل شائع وتحسين أداء فرقنا بشكل كبير.
أسئلة البحث الحديثة أهمية الاهتمام الذاتي لمنتج المنتج في نماذج المحولات ويظهر أن معظم رؤساء الاهتمام تعلم أنماطا موضعية بسيطة. في هذه الورقة، ندفع أبعد من ذلك في خط البحث هذا واقتراح آلية بديلة جديدة عن النفس: الاهتمام المتكرر (ران). تتعلم RAN بشكل مباشر أوزان الاهتمام دون أي تفاعل رمزي إلى رمز ويحسن قدرتها على تفاعل الطبقة إلى الطبقة. عبر مجموعة واسعة من التجارب في 10 مهام ترجمة آلية، نجد أن نماذج RAN تنافسية وتفوق نظيرها المحول في بعض السيناريوهات، مع عدد أقل من المعلمات ووقت الاستدلال. خاصة، عند تطبيق ركض إلى فك ترميز المحولات، يجلب التحسينات المتسقة عن طريق حوالي +0.5 بلو في 6 مهام الترجمة و +1.0 Bleu على مهمة الترجمة التركية الإنجليزية. بالإضافة إلى ذلك، نجرينا تحليلا مكثفا بشأن أوزان الاهتمام في ركض لتأكيد المعقولية. ران لدينا هو بديل واعد لبناء نماذج NMT أكثر فعالية وكفاءة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا