اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدنتائج حملة التقييم الفاديم 2021
Findings of the VarDial Evaluation Campaign 2021
136
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
تصف هذه الورقة نتائج المهام المشتركة التي تنظم كجزء من حملة التقييم الفاديم 2021. كانت الحملة جزءا من ورشة العمل الثامنة حول معالجة اللغات الطبيعية (NLP) لغات أخرى وأصناف وملاءات (طباعة فيديو)، مشتركة مع EACL2021. أدرجت أربع مهام مشتركة منفصلة هذا العام: تحديد الهوية اللغوية لل DRAVIDIAN (DLI)، وتحديد الهياكل الرومانية (RDI)، ومجموعة متنوعة من وسائل التواصل الاجتماعي GEOLOATION (SMG) وتحديد اللغة الأوراليك (ULI).تم تنظيم DLI لأول مرة واصل الثلاثة الأخرى سلسلة من المهام من حملات التقييم السابقة.
This paper describes the results of the shared tasks organized as part of the VarDial Evaluation Campaign 2021. The campaign was part of the eighth workshop on Natural Language Processing (NLP) for Similar Languages, Varieties and Dialects (VarDial), co-located with EACL 2021. Four separate shared tasks were included this year: Dravidian Language Identification (DLI), Romanian Dialect Identification (RDI), Social Media Variety Geolocation (SMG), and Uralic Language Identification (ULI). DLI was organized for the first time and the other three continued a series of tasks from previous evaluation campaigns.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
تميزت حملة التقييم للمؤتمر الدولي المعني بالترجمة اللغوية المنطوقة (IWSLT 2021) هذا العام أربعة مهام مشتركة: (1) ترجمة الكلام المتزامنة، (2) ترجمة الكلام دون اتصال، (3) ترجمة خطاب متعدد اللغات، خطاب (4)ترجمة.شارك ما مجموعه 22 فريقا في واحدة على الأقل
من المهام.تصف هذه الورقة كل مهمة ومقاييس البيانات والتقييم المشتركة، وتقارير نتائج التقديمات المستلمة.
نبلغ عن نتائج المهمة المشتركة WMT 2021 بشأن تقدير الجودة، حيث يتحدى التحدي هو التنبؤ بجودة إخراج أنظمة الترجمة الآلية العصبية على مستوى الكلمة ومستويات الجملة.ركزت هذه الطبعة على إضافات رواية رئيسيتين: (1) التنبؤ باللغات غير المرئية، أي إعدادات صفرية
، و (2) التنبؤ بالأحكام ذات الأخطاء الكارثية.بالإضافة إلى ذلك، تم إصدار بيانات جديدة لعدة من اللغات، وخاصة البيانات التي تم تحريرها بعد التحرير.قدمت الفرق المشاركة من 19 مؤسسة تماما 1263 أنظمة لمتغيرات المهام المختلفة وأزواج اللغة.
تحديات مهمة كفاءة ترجمة الآلات التي تحديات المشاركين لجعل أنظمتهم أسرع وأصغر مع الحد الأدنى من التأثير على جودة الترجمة.ما مقدار الجودة للتضحية بالكفاءة يعتمد على التطبيق، لذلك تم تشجيع المشاركين على تقديم عروض متعددة تغطي مساحة المقاضيات.في المجموع،
كان هناك 53 طلب من 4 فرق.كان هناك GPU، وحدة المعالجة المركزية واحدة النواة، ومقطوعات الأجهزة وحدة المعالجة المركزية متعددة النواة وكذلك الإنتاجية المركبة أو ظروف الكمون الجملة واحدة.أظهرت التقديمات مئات الملايين من الكلمات يمكن ترجمتها مقابل الدولار، متوسط الكمون هو 5--17 مللي ثانية، ونماذج تناسبها 7.5-150 ميغابايت.
نحن تصف مهمة Sigmorphon الثانية على التورفولوجيا غير المدعومة: الهدف من المهمة المشتركة SIGMORPHON 2021 على تجميع النماذج المورفولوجية غير المزدئة غير المنشأة هو أنواع الكلمات العنقودية من كوربوس نص الخام إلى النماذج.تحقيقا لهذه الغاية، نطلق سرورا لم
دة 5 لغات تطوير و 9 لغات اختبار، وكذلك النماذج الجزئية الذهبية للتقييم.نتلقى 14 تقريرا من 4 فرق تتبع الاستراتيجيات المختلفة، ويستند أفضل نظام أداء على قواعد النحوية.تختلف النتائج بشكل كبير عبر اللغات.ومع ذلك، فإن جميع الأنظمة متفوقة من قبل Lemmmmmmmatizer تحت إشراف، مما يعني أنه لا يزال هناك مجال للتحسين.
نقدم نتائج المهمة الأولى على الترجمة ذات الجهاز متعدد اللغات على نطاق واسع.تتكون المهمة على التقييم المتعدد إلى العديد من النماذج الفردية عبر مجموعة متنوعة من اللغات المصدر والمستهدفة.هذا العام، تتألف المهمة على ثلاثة إعدادات مختلفة: (1) المهمة الصغي
رة 1 (لغات أوروبا الوسطى / الجنوبية الشرقية)، (2) المهمة الصغيرة 2 (لغات جنوب شرق آسيا)، و (3) مهمة كاملة (كل 101 × 100 زوج أزواج).استخدمت جميع المهام DataSet Flores-101 كمعيار التقييم.لضمان طول العمر من مجموعة البيانات، لم يتم إصدار مجموعات الاختبار علنا وتم تقييم النماذج في بيئة خاضعة للرقابة على Dynabench.كان هناك ما مجموعه 10 فرق مشاركة للمهام، بما مجموعه 151 من العروض النموذجية المتوسطة و 13 نماذج نهائية.تظهر نتائج هذا العام تحسنا كبيرا على خطوط الأساس المعروفة مع +17.8 بلو ل Task-Task2، +10.6 للمهمة الكاملة و +3.6 للمهمة الصغيرة 1.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
