اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدما هو تقييم Semeval؟تحليل منهجي لحملات التقييم في NLP
What is SemEval evaluating? A Systematic Analysis of Evaluation Campaigns in NLP
413
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
Semeval هو المكان الرئيسي في مجتمع NLP لاقتراح التحديات الجديدة والتقييم التجريبي المنهجي لأنظمة NLP.توفر هذه الورقة تحليلا قياسيا منهيا لسيميفال تهدف إلى الأدلة على أنماط المساهمات وراء Semeval.من خلال فهم توزيع أنواع المهام والمقاييس والبنية والمشاركة والاقتباسات مع مرور الوقت نهدف إلى الإجابة على السؤال حول ما يجري تقييمه من قبل Semeval.
SemEval is the primary venue in the NLP community for the proposal of new challenges and for the systematic empirical evaluation of NLP systems. This paper provides a systematic quantitative analysis of SemEval aiming to evidence the patterns of the contributions behind SemEval. By understanding the distribution of task types, metrics, architectures, participation and citations over time we aim to answer the question on what is being evaluated by SemEval.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
أظهرت السنوات الأخيرة تطورات سريعة في مجال تعلم الجهاز متعدد الوسائط، والجمع بين الأمراء على سبيل المثال، الرؤية والنصوص أو الكلام.في هذه الورقة الموضع، نوضح كيف يستخدم الحقل التعريفات القديمة متعددة الوسائط التي تثبت عصر التعلم الآلي.نقترح تعريف مهم
ة جديدة للعمليات النسبية (متعددة) في سياق تعلم الآلة متعددة الوسائط التي تركز على التمثيلات والمعلومات ذات الصلة بمهمة تعليمية آلات معينة.من خلال تعريفنا الجديد لعدة التعددية، نهدف إلى تقديم مؤسسة مفقودة لأبحاث متعددة الوسائط، وهو عنصر مهم من التأريض اللغوي ومعالم حاسمة تجاه NLU.
كانت أدوات معالجة اللغة الطبيعية والموارد قد تم إنشاؤها بشكل أساسي وتدريبها بشكل أساسي على أنواع اللغات القياسية.في الوقت الحاضر، مع استخدام كميات كبيرة من البيانات التي تم جمعها من وسائل التواصل الاجتماعي، تحتاج إلى معالجة الأصناف والتسجيلات الأخرى،
والتي قد تقدم تحديات وصعوبات أخرى.في هذا العمل، نركز على اللغة الإنجليزية ونقدم تحليلا أوليا من خلال مقارنة كوربوس Twitteraae، المشروح للعرق، و Wordnet عن طريق تحديد وشرح اللغة عبر الإنترنت التي تفتقدها WordNet.
من النماذج الإحصائية إلى النماذج العصبية، تم اقتراح مجموعة واسعة من خوارزميات نمذجة الموضوعات في الأدب. ومع ذلك، بسبب تنوع مجموعات البيانات والمقاييس، لم تكن هناك العديد من الجهود لمقارنة أدائها بشكل منهجي على نفس المعايير وتحت نفس الشروط. في هذه الو
رقة، نقدم مجموعة مختارة من 9 تقنيات نمذجة موضوعا من حالة الفن التي تعكس تنوع مناهج المهمة، لمحة عامة عن المقاييس المختلفة المستخدمة لمقارنة أدائها، وتحديات إجراء هذه المقارنة. نحن نقيم تجريبيا أداء هذه النماذج على إعدادات مختلفة تعكس مجموعة متنوعة من الظروف الواقعية من حيث حجم مجموعة البيانات وعدد المواضيع وتوزيع الموضوعات، بعد عمليات المعالجة والتتقييم المتطابقة. باستخدام كل من المقاييس التي تعتمد على الخصائص الجوهرية لمجموعات البيانات (مقاييس الاتساق المختلفة)، بالإضافة إلى المعرفة الخارجية (تضييع Word Adgeddings وموضوع الحقيقة)، تكشف تجاربنا عدة أوجه القصور فيما يتعلق بالممارسات المشتركة في تقييم نماذج الموضوعات.
المهمة Sereval 2021 Semeval 5: الكشف عن الأمور السامة هي مهمة تحديد المواقف المسيح السامة في النص، والتي توفر أداة أوتوماتيكية قيمة للمحتويات عبر الإنترنت المعتدلة.هذه الورقة تمثل طريقة المركز الثاني للمهمة، وفريق مناهضين.في حين يعتمد نهج واحد على ال
جمع بين أساليب التضمين المختلفة لاستخراج التمثيلات الدلالية والمنظمات المختلفة للكلمات في السياق؛يستخدم الآخر بيانات إضافية مع التدريب الذاتي المخصص قليلا، وهي تقنية تعليمية شبه إشراف، لمشاكل علامات التسلسل.يستفيد كل من بهيئاتنا نموذجا قويا لغة قوية، والتي تم ضبطها بشكل جيد على مهمة تصنيف سامة.على الرغم من أن الأدلة التجريبية تشير إلى فعالية أعلى من النهج الأول من المرتبة الثانية، فإن الجمع بينها يؤدي إلى أفضل النتائج لدينا من 70.77 F1 النتيجة على اختبار DataSet.
أدت إدخال مذكرات الكلمات المحول المستندة إلى المحولات المدربين مسبقا إلى تحسينات كبيرة في دقة المحللين المستندة إلى الرسم البياني للأطر مثل التبعيات العالمية (UD). ومع ذلك، يختلف الأمر السابق في الأبعاد المختلفة، بما في ذلك اختيارهم لنماذج اللغة المد
ربة مسبقا وما إذا كانوا يستخدمون طبقات LSTM. مع تهدف إلى تحرير آثار هذه الخيارات وتحديد بنية بسيطة ولكنها قابلة للتطبيق على نطاق واسع، نقدم خطوات، ومحلل التبعية المستندة إلى الرسم البياني المعياري الجديد. باستخدام خطوات، نقوم بإجراء سلسلة من التحليلات على OD Corpora من مجموعة متنوعة من اللغات. نجد أن اختيار المدينات المدربة مسبقا له كبير تأثير على أداء المحلل وتحديد XLM-R كخيار قوي عبر اللغات في دراستنا. لا توفر إضافة طبقات LSTM أي فوائد عند استخدام Embeddings القائمة على المحولات. قد يؤدي إعداد إعدادات التدريب متعددة المهام إلى إخراج ميزات UD إضافية. أخذ هذه الأفكار معا، نقترح بنية ومحزين بسيطة ولكنها قابلة للتطبيق على نطاق واسع، وتحقيق نتائج جديدة من من من بين الفنون (من حيث LAS) لمدة 10 لغات مختلفة.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
