ترغب بنشر مسار تعليمي؟ اضغط هنا

كيت: نموذج مقاوم للتناقض مسبقا للكشف عن الاستعارة مع التعلم شبه الإشرافه

CATE: A Contrastive Pre-trained Model for Metaphor Detection with Semi-supervised Learning

372   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

الاستعارات في كل مكان في اللغة الطبيعية، ويتطلب الكشف عنها منطق سياقي حول ما إذا كان التعارض الدلالي موجود بالفعل.معظم العمل الحالي يعالج هذه المشكلة باستخدام نماذج السياق المدربة مسبقا.على الرغم من نجاحها، تتطلب هذه النماذج كمية كبيرة من البيانات المسمى ولا تستند إلى اللغة اللاحنة.في هذه الورقة، اقترحنا نموذجا متمربا مسبقا مسبقا (كيت) للكشف عن الاستعارة مع التعلم شبه الإشرافه.يستخدم نموذجنا أولا نموذجا مدربا مسبقا للحصول على تمثيل سياقي للكلمات المستهدفة وتوظف هدفا بسيطا لتعزيز المسافة المتزايدة بين الكلمات المستهدفة "الحواس الحرفية والجهزة المجازية القائمة على نظريات لغوية.علاوة على ذلك، نقترح استراتيجية بسيطة لجمع مثيلات مرشحة واسعة النطاق من كوربوس العام وتعميم النموذج عبر التدريب الذاتي.تبين تجارب واسعة أن كيت يحقق أداء أفضل ضد خطوط خطوط البيانات الحديثة على العديد من البيانات القياسية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

في هذا العمل، نقدم نهجنا ونتائجنا لمهمة Semeval-2021 للكشف عن الفقاعات السامة.كان الهدف الرئيسي للمهمة هو تحديد المواقيات التي يمكن أن تعزى سمية نص معين.المهمة تحديا أساسا بسبب قيود اثنين: مجموعة بيانات التدريب الصغيرة وتوزيع الفئة غير المتوازنة.تقوم ورقتنا بالتحقيق في تقنيين، وتعلم شبه إشراف وتعلم مع فقدان النرد ضبط النفس، لمعالجة هذه التحديات.يتألف نظامنا المقدم (المرتبة التاسعة على متن القائد) من مجموعة من مختلف نماذج اللغة المحولات المدربة مسبقا تدربت باستخدام أي من التقنيات المذكورة أعلاه.
يهدف التعلم التعريف إلى تحسين قدرات النموذج على تعميم المهام والمجالات الجديدة. منعت عدم وجود طريقة فعالة للبيانات لإنشاء مهام التدريب META قد منع تطبيق التعلم التلوي لسيناريوهات التعلم القليلة في العالم الحقيقي. اقترحت الدراسات الحديثة مناهج غير مده ونة لإنشاء مهام تدريبية من البيانات غير المستدامة مجانا، على سبيل المثال، طريقة SMLMT (BANSAL et al.، 2020a) تقوم بمهام تصنيف متعددة الطبقات غير المعروضة من النص غير المستعود من خلال إخفاء الكلمات بشكل عشوائي في الجملة و دع Meta Learner يختار أي كلمة لملء الفراغ. تقترح هذه الدراسة نهجا تعليميا شبه إشرافه يشتمل على كل من قوة تمثيل النماذج اللغوية المدربة مسبقا مسبقا وقدرة التعميم على الشبكات النموذجية المعززة من قبل SMLMT. يتجنب نهج التدريب المنوي شبه المشرف على الشبكات النموذجية الجائرة على عدد صغير من أمثلة التدريب المسمى وسرعة يتعلم التمثيل الخاص بمهام المهام عبر المجال فقط من بعض الأمثلة الداعمة. من خلال دمج SMLMT مع الشبكات النموذجية، تعميم المتعلم التعريف بشكل أفضل من المجالات غير المرئية وتحقق دقة أعلى على الأمثلة خارج النطاق دون رفع ما قبل التدريب. نلاحظ تحسنا كبيرا في تعميم القليل من اللقطات بعد التدريب فقط على عدد قليل من العصر على مهام تصنيف النوايا التي تم تقييمها في إعداد متعدد المجالات.
حقق نماذج اللغة المدربة مسبقا بشكل جيد (LMS) نجاحا هائلا في العديد من مهام معالجة اللغة الطبيعية (NLP)، لكنها لا تزال تتطلب بيانات مفرطة الحجم في مرحلة ضبط الدقيقة. ندرس مشكلة LMS المدبرة مسبقا باستخدام إشراف ضعيف فقط، دون أي بيانات معدنية. هذه المشك لة تحديا لأن قدرة LMS عالية تجعلها عرضة للاحتفاظ بالملصقات الصاخبة الناتجة عن إشراف ضعيف. لمعالجة هذه المشكلة، نحن نطور إطارا للتدريب الذاتي للتناقض، جيب التمام، لتمكين LMS الرصيف مع إشراف ضعيف. تدعمه التنظيم البسيط والنعيد القائم على الثقة، فإن إطار عملائنا يحسن تدريجيا من تركيب النموذج مع قمع انتشار الأخطاء بشكل فعال. تشير التجارب على التسلسل، الرمز المميز، ومهام تصنيف زوج الزوج الحكم إلى أن نموذجنا يتفوق على أقوى خط أساس عن طريق الهوامش الكبيرة وتحقق أداء تنافسي مع أساليب ضبط صاخبة بالكامل. تنفيذنا متاح على https://github.com/yueyu1030/cosine.
تحتوي التعليقات السامة على أشكال لغة غير مقبولة مستهدفة نحو مجموعات أو أفراد.تصبح هذه الأنواع من التعليقات مصدر قلق خطير للمنظمات الحكومية والمجتمعات عبر الإنترنت ومنصات وسائل التواصل الاجتماعي.على الرغم من وجود بعض الأساليب للتعامل مع اللغة غير المق بولة، فإن معظمها يركز على التعلم الإشراف واللغة الإنجليزية.في هذه الورقة، نتعامل مع اكتشاف التعليق السام كاستراتيجية شبه مشتركة على رسم بياني غير متجانس.نقوم بتقييم النهج على مجموعة بيانات سامة من اللغة البرتغالية، مما يتفوق على العديد من الأساليب القائمة على الرسم البياني وتحقيق نتائج تنافسية مقارنة بمناطق المحولات.
الأمل هو جانب أساسي من استقرار الصحة العقلية والانتعاش في كل فرد في هذا العالم سريع المتغير.ستكون أي أدوات وأساليب تم تطويرها للكشف والتحليل وتوليد خطاب الأمل مفيدا.في هذه الورقة، نقترح نموذجا على اكتشاف الأمل في الأمل للكشف تلقائيا عن محتوى الويب ال ذي قد يلعب دورا إيجابيا في نشر العداء على وسائل التواصل الاجتماعي.نحن نقوم بإجراء التجارب من خلال الاستفادة من نماذج معالجة ما قبل المعالجة والنقل.لاحظنا أن نموذج بيرت متعدد اللغات المدرب مسبقا مع الشبكات العصبية للتنزل أعطى أفضل النتائج.تصنيفنا في المرتبة الأولى والثالث والرابع في المرتبة الإنجليزية ومالايالامية والإنجليزية ومجموعات البيانات المختلطة من التاميل والإنجليزية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا