اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدبايس ساذجة مقابل بيرت: مهام دفتر Jupyter لدورة غير محددة
Naive Bayes versus BERT: Jupyter notebook assignments for an introductory NLP course
420
1 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
نحن تصف اثنين من أجهزة الكمبيوتر المحمولة Jupyter التي تشكل أساس تعيينتين في وحدة معالجة اللغة الطبيعية التمهيدية (NLP) التي تم تدريسها لطلاب البكالوريوس السنة الأخيرة في جامعة دبلن سيتي.تظهر أجهزة الكمبيوتر المحمولة الطلاب كيفية تدريب مصنف قطبية كيس من الكلمات باستخدام بايس ساذجة متعددة الأطراف، وكيفية ضبط مصنف القطبية باستخدام بيرت.يأخذ الطلاب الرمز كنقطة انطلاق تجربتهم الخاصة.
We describe two Jupyter notebooks that form the basis of two assignments in an introductory Natural Language Processing (NLP) module taught to final year undergraduate students at Dublin City University. The notebooks show the students how to train a bag-of-words polarity classifier using multinomial Naive Bayes, and how to fine-tune a polarity classifier using BERT. The students take the code as a starting point for their own experiments.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
توضح هذه المقالة التجارب والأنظمة التي طورها فريق SUKI للطبعة الثانية من المهمة المشتركة لتحديد الهاتية الرومانية (RDI) التي تم تنظيمها كجزء من حملة التقييم الفاديم 2021.لقد قدمنا اثنين يدير إلى المهمة المشتركة، وكان تقديمنا الثاني هو أفضل التقديم بش
كل عام من هامش ملحوظ.استخدم أفضل العروض لدينا حرف N-Gram مقصورة BAWEES ساذجة مع نماذج اللغة التكيفية.نحن نصف تجاربنا على مجموعة التنمية المؤدية إلى كل من التقديمات.
نقدم سلسلة من مهام البرمجة، قابلة للتكيف مع مجموعة من مستويات الخبرة من المرحلة الجامعية المتقدمة إلى الدكتوراه، لتعليم الطلاب تصميم وتنفيذ أنظمة NLP الحديثة. يتم بناء هذه المهام من الألف إلى الياء والتأكيد على فهم المكدس الكامل للنماذج التعليمية الآ
لية: في البداية، يقوم الطلاب بتنفيذ حساب الاستدلال والتدرج باليد، ثم استخدم Pytorch لبناء شبكات عصبية أحدث تقريبا باستخدام أفضل الممارسات الحالية. يتم اختيار الموضوعات لتغطية مجموعة واسعة من تقنيات النمذجة والاستدلال التي قد تواجه المرء، بدءا من النماذج الخطية المناسبة لتطبيقات الصناعة لنماذج التعلم العميق الحديثة المستخدمة في أبحاث NLP. يتم تخصيص المهام، مع خيارات مقيدة لتوجيه طلاب أقل خبرة أو الخيارات المفتوحة المنتهية لإعطاء حرية الطلاب المتقدمة لاستكشافها. يمكن نشر كل منهم بطريقة غير قابلة للتطبيق بالكامل، وقد تم اختبارها بشكل جماعي على أكثر من 300 طالب عبر العديد من الفصول الدراسية.
تقدم هذه الورقة Estbert، وهو طراز بيرت محول محول محول محول كبير مسبقا للإستونية.قامت العمل الحديثة بتقييم نماذج بيرت متعددة اللغات على المهام الإستونية ووجدتها أن تتفوق على الأساس.ومع ذلك، بناء على الدراسات القائمة على اللغات الأخرى، من المتوقع أن تت
حسن نموذج بيرت خاص باللغة من المتوقعين على تلك المتعددة اللغات.نحن نصف أول عملية محاكمة Estbert ثم تقديم نتائج النماذج المستندة إلى Estbert Finetuned لمهام NLP متعددة، بما في ذلك نقاط البيع والعلامات المورفولوجية، وتحليل التبعية، والتعرف على الكيان المسمى وتصنيف النص.تظهر نتائج التقييم أن النماذج القائمة على Estbert تفوقت نماذج بيرت متعددة اللغات متعددة اللغات على خمس مهام من أصل سبعة، وتوفير المزيد من الأدلة تجاه الرأي أن نماذج Berty-الخاصة باللغة التدريبية لا تزال مفيدة، حتى عندما تتوفر نماذج متعددة اللغات.
تعظيم البيانات غير المزعجة (UDA) هي تقنية شبه بيئية تنطبق على فقدان الاتساق لمعاقبة الاختلافات بين تنبؤات النماذج على (أ) أمثلة ملحوظة (غير مسفحة)؛ و (ب) الأمثلة الواضحة المقابلة التي تم إنتاجها عبر تكبير البيانات. في حين أن UDA اكتسبت شعبية لتصنيف ا
لنصوص، فإن الأسئلة المفتوحة باقية من قرارات التصميم ضرورية وكيفية تمديد الطريقة لتسلسل مهام وضع العلامات. في هذه الورقة، نعيد فحص UDA وإظهار فعاليتها في العديد من المهام المتسلسلة. مساهمتنا الرئيسية هي دراسة تجريبية ل UDA لتأسيس مكونات الخوارزمية التي تمنح استحقاقات NLP. وخاصة، على الرغم من أن العمل السابق قد أكد على استخدام تقنيات تكبير ذكية بما في ذلك الترجمة ذات الترجمة المرجانية، نجد أن التناسق بين التنبؤات المخصصة للكلمات الملحوظة والمستبدلة غالبا ما تسفر عن فوائد قابلة للمقارنة (أو أكبر) مقارنة بنماذج الاضطرابات الأكثر تعقيدا. علاوة على ذلك، نجد أن تطبيق فقدان اتساق UDA يوفر مكاسب ذات مغزى دون أي بيانات غير قابلة للتحقيق على الإطلاق، أي في إعداد قياسي إشرافي. باختصار، لا تحتاج UDA إلى عدم إدراكها لتحقيق الكثير من فوائدها المذكورة، ولا تتطلب تكبير بيانات معقدة لتكون فعالة.
تدرس هذه الورقة التعلم المستمر (CL) بتسلسل مهام تصنيف معنويات الجانب (ASC).على الرغم من اقتراح بعض تقنيات CL لتصنيف معنويات المستندات، إلا أننا لسنا على علم بأي عمل CL على ASC.يجب أن يتعلم نظام CL الذي يتعلم تدريجيا سلسلة من مهام ASC المشكلتين التالي
ين: (1) نقل المعرفة المستفادة من المهام السابقة إلى المهمة الجديدة للمساعدة في تعلم نموذج أفضل، و (2) الحفاظ على أداء النماذجالمهام السابقة بحيث لا تنسى.تقترح هذه الورقة نموذجا قائم على شبكة كبسولة رواية يسمى B-CL لمعالجة هذه المشكلات.ب-CL يحسن بشكل ملحوظ أداء ASC على كل من المهمة الجديدة والمهام القديمة عبر نقل المعرفة للأمام والخلف.يتم إثبات فعالية B-CL من خلال تجارب واسعة.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
