ترغب بنشر مسار تعليمي؟ اضغط هنا

redwoodnlp في مهمة Semeval-2021 7: نموذج نماذج محددة وخفيفة الوزن للكشف عن فكاهة

RedwoodNLP at SemEval-2021 Task 7: Ensembled Pretrained and Lightweight Models for Humor Detection

352   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

إن فهم الفكاهة هو عنصر أساسي لأنظمة NLP التي تواجه الإنسان.في هذه الورقة، نحقق في العديد من الطرق للكشف عن الفكاهة في تصريحات قصيرة كجزء من المهمة المشتركة SEMEVAL-2021 7. للمهمة 1A، نطبق مجموعة من نماذج اللغة المدربة مسبقا مسبقا؛بالنسبة للمهام 1B، 1C، و 2A، نحقق في العديد من نماذج التعلم الآلية القائمة على الأشجار والخطية.ينص نظامنا النهائي على درجة F1 من 0.9571 (المرتبة 24/58) في المهمة 1A، ورمز من 0.5580 (مرتبة 18/50) في المهمة 1B، درجة F1 من 0.5024 (المرتبة 26/36) في مهمة 1C،ورمز من 0.7229 (المرتبة 45/88) في مهمة 2A.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تقدم هذه الورقة تقديم Duluthnlp إلى المهمة 7 من مسابقة Semeval 2021 بشأن الكشف عن الفكاهة والجريمة تصنيفها.في ذلك، نوضح النهج المستخدم لتدريب النموذج مع عملية ضبط النموذج الخاص بنا في الحصول على النتائج.ونحن نركز على الكشف عن الفكاهة والتصنيف والتصني ف الفاسد، وهو ما يمثل ثلاثة من الأساس الأربع الفرعية التي قدمت.نظهر أن تحسين المعلمات فرطا لمعدل التعلم، يمكن أن يزيد حجم الدفعة وعدد EFOCHs من الدقة ونتيجة F1 للكشف عن الفكاهة
أصبح الكشف عن الفكاهة موضوع اهتمام بالعديد من فرق البحث، وخاصة المشاركين في الدراسات الاجتماعية والنفسية، بهدف الكشف عن الفكاهة والأشجار السكانية المستهدفة (مثل مجتمع، مدينة، أي بلد، موظفوشركة معينة).قامت معظم الدراسات الحالية بصياغة مشكلة الكشف عن ا لفكاهة باعتبارها مهمة تصنيف ثنائية، بينما تدور حول تعلم شعور الفكاهة من خلال تقييم درجاتها المختلفة.في هذه الورقة، نقترح نموذج التعلم العميق متعدد الإنهاء (MTL) للكشف عن الفكاهة والجريمة.وهي تتألف من ترميز محول مدرب مسبقا وطبقات اهتمام خاص بمهام المهام.يتم تدريب النموذج باستخدام وزن خسارة عدم اليقين MTL للجمع بين جميع الوظائف الموضوعية ذات المهام الفرعية.يتناول نموذج MTL الخاص بنا جميع المهام الفرعية لمهمة Semeval-2021-7 في نظام التعلم العميق في نهاية واحد ويظهر نتائج واعدة للغاية.
توضح هذه الورقة مساهمتنا في مهمة Semeval-2021: الكشف عن الفكاهة وتصنيف المهمة وتصنيف المهمة الخاصة بهذه المهام الفرعية، المهمة الفرعية 1 ومهمة فرعية 2. من بينها، المهمة الفرعية 1 المهام الفرعية الفرعية، المهمة الفرعية 1A، المهمة الفرعية 1B والمهمة ال فرعية 1C.SUB المهمة 1A هي التنبؤ إذا كان النص من شأنه أن يصبح النص من روح الدعابة. تم وصف المهمة الأولى 1C asfollows: إذا تم تصنيف النص على الرفاهية، فإن تصنيف الفكاهة تعتبر التخلف عن السياقة، أي أن تباين التصنيف بين Annota-tors أعلى من المتوسط. جنبا إلى جددنا نموذجا مدربا في ثلاثpre مع CNN لاستكمال هذه المهام الفرعية التنسيقية. -Task 2 يهدف إلى التنبؤ بكيفية النص الموضح مع القيم بين 0 و 5.We نستخدم فكرة الانحدار للتعامل مع المهمة الفرعية Thesetwo. نحلل أداء أورمثود وإظهار مساهمة كل كومكونت من بنية لدينا. لقد حققنا نتائج جيدة تحت مجموعة من وضع ما قبل التدريب المتعدد طرق LS والتحسين.
الفكاهة والتصنيف يشكل تحديات لغوية مثيرة للاهتمام إلى NLP؛إنها ذاتية عالية اعتمادا على تصورات مزحة والسياق الذي يستخدم فيه.تستخدم هذه الورقة ويقارن نماذج المحولات؛Bert Base و Large، Bertweet، Roberta Base and Large، مفارقة قاعدة روبرتا، للكشف عن الفك اهة والفكاهة.النماذج المقترحة، حيث نظمت نصا في نوع غلاف وغير مقصود تم الحصول عليها من مهمة Semeval-2021: hahackathon: ربط الفكاهة والجريمة عبر الفئات العمرية المختلفة.أعلى نموذج مسجل في المراكب الفرعي الأول: الكشف عن الفكاهة، نموذج Bertweet Base CaseD مع 0.9540 F1-Score، للمرجع الفرعي الثاني: متوسط درجة التصنيف الفكاهي، فهو Bert Large Cased مع الحد الأدنى من RMSE من 0.5555، في المراكز الفرعية الرابعة:متوسط درجة تصنيف الاكتشاف، إنها نموذج Bertweet Base Cased مع الحد الأدنى من RMSE من 0.4822.
تصف هذه الورقة نظامنا المشارك في المهمة 7 من Semeval-2021: الكشف عن الفكاهة والجريمة.تم تصميم المهمة للكشف عن الفكاهة والجريمة التي تتأثر بالعوامل الذاتية.من أجل الحصول على معلومات دلالية من كمية كبيرة من البيانات غير المسبقة، طبقنا نماذج اللغة المدر بة مسبقا غير مدبونة.من خلال إجراء البحوث والتجارب، وجدنا أن نماذج Ernie 2.0 و Deberta مدربة مسبقا حققت أداء مثير للإعجاب في مختلف المهام الفرعية.لذلك، طبقنا النماذج المدربة مسبقا أعلاه لضبط الشبكة العصبية المصب.في عملية ضبط النموذج بشكل جيد، اعتمكن من استراتيجية التدريب المتعدد المهام وطريقة تعلم الفرقة.استنادا إلى الاستراتيجية والطريقة المذكورة أعلاه، حققنا RMSE 0.4959 ل SubTask 1B، وفاز أخيرا في المقام الأول.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا