اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدفقط إسأل!تقييم الترجمة الآلية عن طريق السؤال والإجابة على الأسئلة
Just Ask! Evaluating Machine Translation by Asking and Answering Questions
351
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
في هذه الورقة، نظهر أن الأسئلة والأجوبة التي تم إنشاؤها تلقائيا يمكن استخدامها لتقييم جودة أنظمة الترجمة الآلية (MT).بناء على العمل الحديث على تقييم تلخيص نص مبيعات، نقترح مقياس جديد لتقييم MT على مستوى النظام، ومقارنته بالحلول الأخرى الأخرى، وإظهار متانة لها من خلال إجراء تجارب لمختلف اتجاهات MT.
In this paper, we show that automatically-generated questions and answers can be used to evaluate the quality of Machine Translation (MT) systems. Building on recent work on the evaluation of abstractive text summarization, we propose a new metric for system-level MT evaluation, compare it with other state-of-the-art solutions, and show its robustness by conducting experiments for various MT directions.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
إن التنبؤ بإجابة سؤال متعلقة بالمنتج هو مجال ناشئ من البحوث وجذب مؤخرا الكثير من الاهتمام. الإجابة على الأسئلة الذاتية والقائمة على الرأي هي الأكثر تحديا بسبب الاعتماد على المحتوى الذي تم إنشاؤه العملاء. يعمل السابق في الغالب على التنبؤ بالإجابة على
مراجعة الاستعراض؛ ومع ذلك، فإن هذه الأساليب تفشل في منتجات جديدة أو غير شعبية، بعد مراجعات (أو قليلة فقط) في متناول اليد. في هذا العمل، نقترح نهج رواية ومكملة للتنبؤ بإجابة هذه الأسئلة، بناء على إجابات أسئلة مماثلة تم طرحها على منتجات مماثلة. نقيس التشابه السياقي بين المنتجات بناء على الإجابات التي توفرها لنفس السؤال. يستخدم إطار خبير في الخبراء للتنبؤ بالإجابة عن طريق تجميع الإجابات من المنتجات المماثلة للسياق. توضح النتائج التجريبية أن نموذجنا يتفوق على خطوط أساسية قوية في بعض شرائح الأسئلة، أي تلك التي لها ما يقرب من عشرة أسئلة واحدة أو أكثر مماثلة في الجور. بالإضافة إلى ذلك نشر مجموعات بيانات واسعة النطاق المستخدمة في هذا العمل، أحد أزواج أسئلة مماثلة، والثاني هو أزواج الإجابة على الأسئلة.
نقدم مجموعة بيانات جديدة لإعادة كتابة الأسئلة في سياق المحادثة (QRECC)، والتي تحتوي على محادثات 14 ألف مع أزواج من الإجابات السؤال 80k.تتمثل المهمة في QRECC في العثور على إجابات على أسئلة المحادثة داخل مجموعة من صفحات الويب 10 أمتار (تقسيم إلى 54 متر
ا مربعا).قد يتم توزيع إجابات على الأسئلة الموجودة في نفس المحادثة عبر العديد من صفحات الويب.توفر QRECC التعليقات التوضيحية التي تسمح لنا بتدريب وتقييم المهارات الفرعية الفردية من إعادة كتابة السؤال، واسترجاع المرور وفهم القراءة المطلوبة لمهمة الإجابة على مسألة المحادثة نهاية إلى نهاية.نبلغ عن فعالية نهج خط الأساس القوي الذي يجمع بين النموذج الحديثة لإعادة كتابة الأسئلة والنماذج التنافسية لقضاء ضمان الجودة المفتوحة.حددت نتائجنا أول خط أساسي ل DataSet QRECC مع F1 من 19.10، مقارنة بمضابط العلوي البشري 75.45، مما يدل على صعوبة الإعداد وغرفة كبيرة للتحسين.
تصف هذه الدراسة تطوير سؤال مجتمعي برتغالي يرد على معيار في مجال ميليتوس السكري باستخدام نهج إيصال الأسئلة المعترف به (RQE). بالنظر إلى سؤال الفرضية، يهدف RQE إلى استرداد أسئلة متشابهة دلالة الشكل، أجاب بالفعل على أرشفة. إننا نبني كوربا رئيسيا باللغة
البرتغالية مع 785 زوجا بين أسئلة الفرضية وأرشفة الأسئلة الإجابة تميزت بأحكام الأهمية من قبل خبراء طبيين. استنادا إلى Corpus القياسي، فإننا نستفيد وتقييم العديد من نهج RQE تتراوح من أساليب استرجاع المعلومات التقليدية إلى نماذج اللغة الكبيرة المدربة مسبقا وتقنيات الفرقة باستخدام مناهج التعلم إلى رتبة. تظهر نتائجنا التجريبية أن الأسلوب الإشراف على المحولات المدربين مدربا بلغات متعددة ومهام متعددة (موسى) يتفوق على البدائل. تظهر نتائجنا أيضا أن فروع الأساليب (التراص) بالإضافة إلى طريقة استرجاع المعلومات (الضوء) التقليدية (BM25) يمكن أن تنتج نتائج تنافسية. أخيرا، من بين الاستراتيجيات التي تم اختبارها، فإن أولئك الذين يستغلون سوى السؤال (وليس الإجابة)، وتقديم أفضل مفاضلة كفاءة الفعالية. الرمز متاح علنا.
يتم تدريب معظم أنظمة الترجمة الآلية المتزامنة (SIMT) وتقييمها في Offline Translation Corpora.نحن نقول أن أنظمة SIMT يجب تدريبها واختبارها على بيانات التفسير الحقيقي.لتوضيح هذه الحجة، نقترح مجموعة اختبار التفسير وإجراء تقييم واقعي ل Simt المدربة على ا
لترجمات دون اتصال.نتائجنا، في الاختبار المحدد لدينا مع 3 أزواج لغة صغيرة الحجم الحالية، تسليط الضوء على الفرق من النتيجة حتى 13.83 بلو عند تقييم نماذج Simt على بيانات الترجمة الشفوية للترجمة.في غياب بيانات التدريب على الترجمة الشفوية، نقترح طريقة نقل نمط الترجمة إلى الترجمة إلى الترجمة (T2I) التي تسمح بتحويل الترجمات غير المتصلة حاليا إلى بيانات نمط الترجمة الشفوية، مما يؤدي إلى تحسن ما يصل إلى 2.8 بلو.ومع ذلك، لا تزال فجوة التقييم ملحوظة، ودعا إلى بناء تفسير واسع النطاق مناسبة بشكل أفضل لتقييم وتطوير أنظمة SIMT.
في ترجمة النص حيث تعتبر المشاعر الرسالة الرئيسية، يعطي المترجمون البشريون اهتماما خاصا للكلمات تحمل المعنويات. السبب هو أن ترجمة غير صحيحة لهذه الكلمات سوف تفوت الجانب الأساسي للنص المصدر، أي شعور المؤلف. في العالم عبر الإنترنت، تستخدم أنظمة MT على ن
طاق واسع لترجمة المحتوى الذي تم إنشاؤه بواسطة المستخدم (UGC) مثل المراجعات، وتغريدات، ووظائف وسائل التواصل الاجتماعي، حيث تكون الرسالة الرئيسية في كثير من الأحيان موقف المؤلف الإيجابي أو السلبي تجاه موضوع النص. من المهم في مثل هذه السيناريوهات لقياس بدقة إلى حد ما يمكن أن يكون نظام MT أداة مساعدة واقعية موثوقة في نقل الرسالة الصحيحة. تتناول هذه الورقة مشكلة أقل معترف بها في مجال تقييم الترجمة الآلية التي تهم إلى أي مدى يتفق المقاييس التلقائية مع مستوى الذهب من التقييم البشري للحصول على ترجمة صحيحة للمشاعر. نقوم بتقييم فعالية مقاييس الجودة التقليدية في اكتشاف عدم فهم الثقة، خاصة عندما يكون الخطأ الوحيد في إخراج MT. نقترح قياس المعنويات العددية "تقييس" المناسب لتقييم دقة الرسالة المترجمة تؤثر في نص UGC بواسطة نظام MT. سنظهر أن دمج هذا التدبير على دراية المعنويات يمكن أن يعزز بشكل كبير ارتباط بعض مقاييس الجودة المتاحة مع الحكم الإنساني لترجمة دقيقة للمشاعر.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
