اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدبيرت القائم على تأثير المخدرات سلبي تصنيف تغريد
BERT based Adverse Drug Effect Tweet Classification
250
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
تصف هذه الورقة النماذج التي تم تطويرها من أجل تعدين وسائل التواصل الاجتماعي للصحة (SMM4H) 2021 المهام المشتركة.شارك فريقنا في المراكز الفرعية الأولى التي يصنف التغريدات مع تأثير المخدرات الضارة (ADE).يستخدم طراز أفضل أداء لدينا BERTWEAR متبوعة بطبقة واحدة من Bilstm.يحقق النظام درجة F 0.45 على مجموعة الاختبار دون استخدام أي موارد مساعدة مثل علامات جزء من الكلام أو علامات التبعية أو المعرفة من القواميس الطبية.
This paper describes models developed for the Social Media Mining for Health (SMM4H) 2021 shared tasks. Our team participated in the first subtask that classifies tweets with Adverse Drug Effect (ADE) mentions. Our best performing model utilizes BERTweet followed by a single layer of BiLSTM. The system achieves an F-score of 0.45 on the test set without the use of any auxiliary resources such as Part-of-Speech tags, dependency tags, or knowledge from medical dictionaries.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
أبحاث الورق مشكلة الكشف عن تأثير سلبي المخدرات في نصوص وسائل التواصل الاجتماعي.نحن نصف تطوير هذا النظام التصنيف للتغريدات الروسية.لزيادة مجموعة بيانات القطار، نطبق بضعة تقنيات زيادة وتحليل تأثيرها بالمقارنة مع أنظمة مماثلة مقدمة في ورشة عمل SMM4H 2021 سنوات.
حقق تمثيلات تشفير ثنائية الاتجاه من المحولات (بيرت) عروضا حديثة على العديد من مهام تصنيف النص، مثل تحليل الغراء والمعنويات. بدأ العمل الأخير في المجال القانوني في استخدام بيرت في المهام، مثل التنبؤ بالحكم القانوني والتنبؤ بالانتهاك. تتمثل الممارسات ا
لشائعة في استخدام Bert في ضبط نموذج مدرب مسبقا على مهمة مستهدفة واقتطع نصات الإدخال بحجم إدخال BERT (E.G. في معظم الرموز 512). ومع ذلك، نظرا للخصائص الفريدة للمستندات القانونية، فليس من الواضح كيفية التكيف بفعالية بيرت في المجال القانوني. في هذا العمل، نحقق في كيفية التعامل مع المستندات الطويلة، وكيفية أهمية التدريب المسبق على المستندات من نفس المجال باعتباره المهمة المستهدفة. نحن نقوم بإجراء تجارب على مجموعات البيانات الأخيرة: DataSet DataSet ECHR ومجموعة بيانات المهام الناجحة، وهي مهام التصنيف متعددة الملصقات والتصنيف الثنائي، على التوالي. الأهم من ذلك، في المتوسط عدد الرموز في وثيقة من مجموعة بيانات انتهاك EURR أكثر من 1600. في حين أن المستندات الموجودة في مجموعة بيانات المهام الأساسية أقصر (الحد الأقصى لعدد الرموز 204). قارننا بدقة العديد من التقنيات لتكييف بيرت على وثائق طويلة ومقارنة النماذج المختلفة المدربة مسبقا على المجالات القانونية وغيرها. تظهر نتائجنا التجريبية أننا نحتاج إلى التكيف بشكل صريح بتكييف بيرت للتعامل مع المستندات الطويلة، حيث يؤدي اقتطاع إلى أداء أقل فعالية. وجدنا أيضا أن التدريب المسبق على المستندات التي تشبه المهمة المستهدفة ستؤدي إلى أداء أكثر فعالية في العديد من السيناريو.
توفر الشبكات العصبية القائمة على المحولات أداء تصنيف جيد للغاية عبر مجموعة واسعة من المجالات، لكن لا تقدم تفسيرات توقعاتها.في حين أن العديد من طرق التفسير، بما في ذلك الشكل، فإن معالجة مشكلة تفسير نماذج التعلم العميق، لا تتكيف معها للعمل على الشبكات
العصبية القائمة على أحدث الأحوال مثل بيرت.مقرر آخر لهذه الطرق هو أن تصور التفسيرات الخاصة بهم في شكل قوائم من الكلمات الأكثر صلة لا يأخذ في الاعتبار الطبيعة المتسلسلة والهيكلية للنص.تقترح هذه الورقة طريقة TransShap التي تتكيف مع النماذج المحول بما في ذلك مصنفات النص المستند إلى BERT.تتقدم تصورات الشكل من خلال إظهار التفسيرات بطريقة متتالية، وتقييمها من قبل المقيمين البشري كمنافسة للحلول الحديثة.
يمكن أن تفحص نماذج استخراج أحداث المخدرات السلبية (ADE) بسرعة مجموعات كبيرة من نصوص وسائل التواصل الاجتماعي، والكشف عن ذكرات التفاعلات السلبية ذات الصلة بالمخدرات وتحريك التحقيقات الطبية.ومع ذلك، على الرغم من التقدم الأخير في NLP، فإنه غير معروف حالي
ا إذا كانت هذه النماذج قوية في مواجهة النفي، والتي تنتشر عبر أصناف اللغة.في هذه الورقة، نقيم ثلاث أنظمة ثلاثية، تظهر هشاشةها ضد النفي، ثم نقدم استراتيجيتين ممكنين لزيادة متانة هذه النماذج: نهج خط أنابيب، بالاعتماد على مكون محدد للكشف عن النفي؛تكبير بيانات استخراج ADE لإنشاء عينات نفي بشكل مصطنع وتدريب النماذج الأخرى.نظهر أن كلا الاستراتيجيتين تجلب الزيادات الكبيرة في الأداء، مما أدى إلى خفض عدد الكيانات الزائفة المتوقعة من النماذج.سيتم إصدار بيانات DataSet و Code علنا لتشجيع البحث على الموضوع.
تدرس هذه الورقة التعلم المستمر (CL) بتسلسل مهام تصنيف معنويات الجانب (ASC).على الرغم من اقتراح بعض تقنيات CL لتصنيف معنويات المستندات، إلا أننا لسنا على علم بأي عمل CL على ASC.يجب أن يتعلم نظام CL الذي يتعلم تدريجيا سلسلة من مهام ASC المشكلتين التالي
ين: (1) نقل المعرفة المستفادة من المهام السابقة إلى المهمة الجديدة للمساعدة في تعلم نموذج أفضل، و (2) الحفاظ على أداء النماذجالمهام السابقة بحيث لا تنسى.تقترح هذه الورقة نموذجا قائم على شبكة كبسولة رواية يسمى B-CL لمعالجة هذه المشكلات.ب-CL يحسن بشكل ملحوظ أداء ASC على كل من المهمة الجديدة والمهام القديمة عبر نقل المعرفة للأمام والخلف.يتم إثبات فعالية B-CL من خلال تجارب واسعة.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
