يصف هذا التقرير تقييم الدورة التدريبية لأنظمة NLP، التي تم تدريسها لطلاب البكالوريوس البالغة في فصل الشتاء 20/21 في جامعة بوتسدام، ألمانيا.كانت ندوة قائمة على المناقشة التي تغطي جوانب مختلفة من التقييم في NLP، وهي النماذج، والإجراءات المشتركة، والتصفية بالبيانات، ومقاييس وقياسات، واختبار الأهمية الإحصائية، وأفضل الممارسات والنهج المشتركة في مهام وتطبيقات NLP محددة.
This report describes the course Evaluation of NLP Systems, taught for Computational Linguistics undergraduate students during the winter semester 20/21 at the University of Potsdam, Germany. It was a discussion-based seminar that covered different aspects of evaluation in NLP, namely paradigms, common procedures, data annotation, metrics and measurements, statistical significance testing, best practices and common approaches in specific NLP tasks and applications.
المراجع المستخدمة
https://aclanthology.org/
على الرغم من أن معالجة اللغة الطبيعية هي في صميم العديد من الأدوات التي يستخدمها الشباب في حياتهم اليومية، فإن المناهج الدراسية الثانوية (في إيطاليا) لا تشمل أي تعليم لغوي حسابي. هذا الافتقار إلى التعرض يجعل استخدام هذه الأدوات أقل مسؤولية مما قد يكو
نحن نبحث عن مشكلة الاختلال العظيمة في أبحاث معالجة اللغات الطبيعية، وهذا يعني ببساطة أن تعريف المشكلة لا يتماشى مع الطريقة المقترحة والتقييم البشري لا يتماشى مع التعريف ولا الطريقة.ندرس هذه المشكلة الاختلافة من خلال مسح 10 ورقات أخذ عينات عشوائيا منش
التركيز HCI و NLP تقليديا على طرق التقييم المختلفة.بينما ينطوي HCI على عدد صغير من الأشخاص بشكل مباشر وعميق، يعتمد NLP تقليديا على التقييمات القياسية القياسية التي تنطوي على عدد أكبر من الأشخاص بشكل غير مباشر.نقدم خمس مقترحات منهجية عند تقاطع HCI و N
على الرغم من الأداء الحديثة، يمكن أن تكون أنظمة NLP هشة في مواقف العالم الحقيقي. غالبا ما يكون هذا بسبب عدم كفاية فهم قدرات وقيود النماذج والاعتماد الشديد على معايير التقييم القياسية. البحث في التقييم غير القياسي للتخفيف من هذا التجشير يكتسب اهتماما
Semeval هو المكان الرئيسي في مجتمع NLP لاقتراح التحديات الجديدة والتقييم التجريبي المنهجي لأنظمة NLP.توفر هذه الورقة تحليلا قياسيا منهيا لسيميفال تهدف إلى الأدلة على أنماط المساهمات وراء Semeval.من خلال فهم توزيع أنواع المهام والمقاييس والبنية والمشا