ترغب بنشر مسار تعليمي؟ اضغط هنا

طيور النحام والقنفذ في الأرض كروكيه: التقييم التدريس لأنظمة NLP للطلاب الجامعيين

Flamingos and Hedgehogs in the Croquet-Ground: Teaching Evaluation of NLP Systems for Undergraduate Students

267   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يصف هذا التقرير تقييم الدورة التدريبية لأنظمة NLP، التي تم تدريسها لطلاب البكالوريوس البالغة في فصل الشتاء 20/21 في جامعة بوتسدام، ألمانيا.كانت ندوة قائمة على المناقشة التي تغطي جوانب مختلفة من التقييم في NLP، وهي النماذج، والإجراءات المشتركة، والتصفية بالبيانات، ومقاييس وقياسات، واختبار الأهمية الإحصائية، وأفضل الممارسات والنهج المشتركة في مهام وتطبيقات NLP محددة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

على الرغم من أن معالجة اللغة الطبيعية هي في صميم العديد من الأدوات التي يستخدمها الشباب في حياتهم اليومية، فإن المناهج الدراسية الثانوية (في إيطاليا) لا تشمل أي تعليم لغوي حسابي. هذا الافتقار إلى التعرض يجعل استخدام هذه الأدوات أقل مسؤولية مما قد يكو ن، ويجري اختيار اللغويات الحسابية كدرجة جامعية غير مرجحة. لرفع الوعي والفضول والاهتمام على المدى الطويل في الشباب، قمنا بتطوير ورشة عمل تفاعلية مصممة لتوضيح المبادئ الأساسية ل NLP واللغويات الحسابية للطلاب الإيطاليين في المدارس الثانوية الذين تتراوح أعمارهم بين 13 و 18 عاما. تأخذ ورشة العمل شكل لعبة تلعب فيها المشاركون دور الآلات التي تحتاج إلى حل بعض المشاكل الأكثر شيوعا وجوه الكمبيوتر في فهم اللغة: من التعرف على الصوت إلى سلاسل Markov إلى تحليل النحوي. يسترشد المشاركون من خلال ورشة العمل بمساعدة المعلمين، الذين يقدمون الأنشطة وشرح المفاهيم الأساسية من اللغويات الحسابية. تم تقديم ورشة العمل في العديد من المنافذ في إيطاليا بين عامي 2019 و 2020، كلاهما وجها لوجه وعلى الإنترنت.
نحن نبحث عن مشكلة الاختلال العظيمة في أبحاث معالجة اللغات الطبيعية، وهذا يعني ببساطة أن تعريف المشكلة لا يتماشى مع الطريقة المقترحة والتقييم البشري لا يتماشى مع التعريف ولا الطريقة.ندرس هذه المشكلة الاختلافة من خلال مسح 10 ورقات أخذ عينات عشوائيا منش ورة في ACL 2020 التي ينتج عنها التقرير البشري.تظهر نتائجنا أن ورقة واحدة فقط كانت متوافقة تماما من حيث تعريف المشكلة والطريقة والتقييم.قدمت ورقتين فقط تقييم بشري يتماشى مع ما تم تصميمه في الطريقة.وتسليط الضوء على هذه النتائج أن مشكلة الاختلافة العظيمة هي رئيسة كبيرة وتؤثر على صحة وتطوير النتائج التي حصل عليها تقييم بشري.
التركيز HCI و NLP تقليديا على طرق التقييم المختلفة.بينما ينطوي HCI على عدد صغير من الأشخاص بشكل مباشر وعميق، يعتمد NLP تقليديا على التقييمات القياسية القياسية التي تنطوي على عدد أكبر من الأشخاص بشكل غير مباشر.نقدم خمس مقترحات منهجية عند تقاطع HCI و N LP وتعيينها في سياق نماذج NLP القائمة على ML.هدفنا هو تعزيز التعاون المتعدد التخصصات والتقدم المحرز في كلا المجالين من خلال التركيز على ما يمكن أن تتعلمه الحقول من بعضها البعض.
على الرغم من الأداء الحديثة، يمكن أن تكون أنظمة NLP هشة في مواقف العالم الحقيقي. غالبا ما يكون هذا بسبب عدم كفاية فهم قدرات وقيود النماذج والاعتماد الشديد على معايير التقييم القياسية. البحث في التقييم غير القياسي للتخفيف من هذا التجشير يكتسب اهتماما متزايدا. والجدير بالذكر أن قائمة التحقق من مبدأ الاختبار السلوكي، التي كشفت الشكوب من التنفيذ عن إخفاقات كبيرة في النماذج الحديثة لمهام متعددة. في هذه الورقة، نقدم دراسة حالة لاستخدام قائمة مرجعية في سيناريو عملي. نقوم بإجراء تجارب لتقييم نظام الكشف عن المحتوى الهجومي واستخدام تقنية تكبير البيانات لتحسين النموذج باستخدام الأفكار من قائمة التحقق. وضعنا التحديات وتفتح الأسئلة القائمة على ملاحظاتنا لاستخدام قائمة مرجعية لتقييم الإنسان في الحلقة وتحسين أنظمة NLP. إخلاء المسئولية: تحتوي الورقة على أمثلة على المحتوى مع لغة مسيئة. لا تمثل الأمثلة آراء المؤلفين أو أرباب العمل تجاه أي شخص (ق) أو جماعي أو جماعي أو الممارسة (الممارسة) أو الكيان / الكيانات.
Semeval هو المكان الرئيسي في مجتمع NLP لاقتراح التحديات الجديدة والتقييم التجريبي المنهجي لأنظمة NLP.توفر هذه الورقة تحليلا قياسيا منهيا لسيميفال تهدف إلى الأدلة على أنماط المساهمات وراء Semeval.من خلال فهم توزيع أنواع المهام والمقاييس والبنية والمشا ركة والاقتباسات مع مرور الوقت نهدف إلى الإجابة على السؤال حول ما يجري تقييمه من قبل Semeval.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا