ترغب بنشر مسار تعليمي؟ اضغط هنا

NTUST-NLP-2 في Rocling-2021 المهمة المشتركة: محلل الدلالي القائم على بيرت مع معلومات مستوى الكلمات

ntust-nlp-2 at ROCLING-2021 Shared Task: BERT-based semantic analyzer with word-level information

511   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في هذه الورقة، اقترحنا محلل دلالي أبعاد بر فندقية، وهو مصمم من خلال دمج معلومات على مستوى Word.حقق نموذجنا ثلاثة من أفضل النتائج في أربعة مقاييس على rocling 2021 المهمة المشتركة: تحليل المعنويات الأبعاد للنصوص التعليمية ".أجرينا سلسلة من التجارب لمقارنة فعالية مختلف الأساليب المدربة مسبقا.علاوة على ذلك، فإن النتائج تعاني أيضا على أن طريقتنا يمكن أن تحسن بشكل كبير من الأداء من الأساليب الكلاسيكية.استنادا إلى التجارب، ناقشنا أيضا تأثير هياكنات النموذج ومجموعات البيانات.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

يهدف هذا التقرير الفني إلى المهمة المشتركة في Rocling 2021: تحليل المعنويات الأبعاد للنصوص التعليمية.من أجل التنبؤ بالحالات العاطفية للنصوص التعليمية الصينية، نقدم إطارا عمليا من خلال توظيف نماذج اللغة المدربة مسبقا، مثل بيرت و Macbert.يمكن استخلاص ا لعديد من الملاحظات والتحليلات القيمة من سلسلة من التجارب.من النتائج، نجد أن الأساليب المستندة إلى Macbert يمكن أن توفر نتائج أفضل من الأساليب القائمة على BERT على مجموعة التحقق.لذلك، نحن متوسط نتائج التنبؤ بالعديد من النماذج التي تم الحصول عليها باستخدام إعدادات مختلفة كإخراج نهائي.
تقدم هذه الورقة وصفا للمهمة المشتركة Rocling 2021 في تحليل المعنويات الأبعاد للنصوص التعليمية.قدمنا اثنين من أشواط في الاختبار النهائي.كلا يدير يستخدم نموذج الانحدار القياسي.يستخدم Run1 الإصدار الصيني من Bert كقاعدة، وفي Run2 نستخدم الإصدار المبكر من Macbert أن النسخة الصينية من نموذج روبرتا يشبه BERT، Roberta-WWM-Ext.باستخدام نموذج قوي قبل التدريب من بيرت لتضمين النص للمساعدة في تدريب النموذج.
تقدم هذه الورقة نظام GX لمهمة الغموض المتعددة اللغات واللغة اللغوية في السياق (MCL-WIC).الغرض من المهمة MCL-WIC هو معالجة التحدي المتمثل في التقاط الطبيعة Polysemous للكلمات دون الاعتماد على مخزون ثابت ثابت في بيئة متعددة اللغات واللغة اللغوية.لحل ال مشكلات، نستخدم Adgeddings Word الخاص بالسياق من بيرت للقضاء على الغموض بين الكلمات في سياقات مختلفة.ولغات دون وجود كائن تدريب متاح، مثل الصينية، نستخدم نموذج الترجمة الآلي للخلايا العصبية لترجمة البيانات الإنجليزية الصادرة عن المنظمين للحصول على البيانات الزائفة المتاحة.في هذه الورقة، نطبق نظامنا على الإعداد الإنجليزي والصيني متعدد اللغات وإظهار النتائج التجريبية أن طريقتنا لها مزايا معينة.
نحن نستخدم محولات Macbert وضبطها بشكل جيد على المهام المشتركة Rocling-2021 باستخدام بيانات CVAT و CVAS.قارنا أداء ماكبيرت مع اثنين من المحولاتين الآخرين وروبرتا في الأبعاد الإثارة، على التوالي.تم استخدام معامل ماي والارتباط (ص) كمقاييس التقييم.على مج موعة اختبار Rocling-2021، يحقق نموذج Macbert المستخدم الخاص بنا 0.611 من MAE و 0.904 من R في أبعاد التكافؤ؛و 0.938 من ماي و 0.549 من ص في البعد الإثرا.
في هذه المهمة المشتركة، تقترح هذه الورقة طريقة للجمع بين نموذج ناقلات Word القائم على BERT ومقدمة تنبؤ LSTM للتنبؤ بقيم التكافؤ والإثارة في النص.من بينها، ناقل الكلمات المستند إلى بيرت هو 768 ثيم، ويتم تغذية كل ناقلات كلمة في الجملة بالتتابع لطراز LS TM للتنبؤ.تظهر النتائج التجريبية أن أداء طريقة لدينا المقترحة أفضل من نتائج نموذج الانحدار لاسو.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا