ترغب بنشر مسار تعليمي؟ اضغط هنا

كيف مستقرة عاطفية آلبرت؟اختبار المتانة مع متوسط وزن الأسكاستك في مهمة تحليل المعنويات

How Emotionally Stable is ALBERT? Testing Robustness with Stochastic Weight Averaging on a Sentiment Analysis Task

198   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

على الرغم من نجاحهم، فإن نماذج اللغة الحديثة هشة.حتى التغييرات الصغيرة في خط أنابيب التدريب يمكن أن تؤدي إلى نتائج غير متوقعة.ندرس هذه الظاهرة من خلال فحص متانة ألبرت (LAN et al.، 2020) بالاشتراك مع متوسط وزن الأسكاستك (SWA) --- طريقة رخيصة للكمية --- على مهمة تحليل المعنويات (SST-2).على وجه الخصوص، نقوم بتحليل استقرار SWA من خلال معايير قائمة مرجعية (Ribeiro et al.، 2020)، فحص اتفاقية الأخطاء التي تصنعها النماذج المختلفة فقط في بذورها العشوائية.نحن نفترض أن SWA أكثر استقرارا لأنها تقع على فرق اللقطات النموذجية التي اتخذت على طول مسار نزول التدرج.نحن نحدد الاستقرار من خلال مقارنة أخطاء النماذج مع Fleiss 'Kappa (Fleiss و 1971) وتتداخل درجات النسبة.نجد أن SWA تقلل من معدلات الخطأ بشكل عام؛ومع ذلك، لا تزال النماذج تعاني من تحيزاتها المميزة (وفقا لقائمة مرجعية).



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

اجتذبت تحليل المعنويات الفئة في الآراء اهتمام الأبحاث المتزايد.تستخدم الأساليب المهيمنة نماذج لغة مدربة مسبقا عن طريق تعلم تمثيلات فعالة من الفئة من الفئة، وإضافة طبقات إخراج محددة إلى تمثيلها المدرب مسبقا.نحن نعتبر طريقة أكثر مباشرة لاستخدام نماذج ا للغة المدربة مسبقا، من خلال إلقاء مهام ACSA في مهام توليد اللغة الطبيعية، باستخدام جمل اللغة الطبيعية لتمثيل الإخراج.تتيح لطريقتنا استخدام المزيد من الاستخدام المباشر للمعرفة المدربة مسبقا في طرازات اللغة SEQ2SEQ من خلال إعداد المهام مباشرة أثناء التدريب المسبق.تشير التجارب في العديد من المعايير إلى أن طريقتنا تمنح أفضل النتائج المبلغ عنها، حيث توجد مزايا كبيرة في إعدادات قليلة وإعدادات طلقة صفرية.
نحن ندرس تصنيف التفضيل المقارن (CPC) الذي يهدف إلى التنبؤ بما إذا كان مقارنة الأفضلية موجودة بين كيانين في عقوبة معينة، وإذا كان الأمر كذلك، فهذا، يفضل الكيان على الآخر. يمكن أن نماذج CPC عالية الجودة تستفيد بشكل كبير تطبيقات مثل السؤال المقارن الرد التوصية القائمة على المراجعة. من بين الأساليب الحالية، تعاني أساليب التعلم غير العميقة من أداء أدنى. الرسم البياني لحديث الحديث في الشبكة العصبية المستندة إلى الشبكة (ما، و 2020) يعتبر فقط المعلومات النحوية مع تجاهل العلاقات الدلالية الحاسمة والمشاعر إلى الكيانات المقارنة. نقترح أن نقترح تحليل المعنويات الشبكة المقارنة المعززة (Saecon) الذي يحسن دقة الحزب الشيوعي الصيني مع محلل معنويات يتعلم المشاعر إلى الكيانات الفردية عبر نقل المعرفة التكيفية المجال. يجري التجارب على مجموعة بيانات Compsent-19 (Panchenko et al.، 2019) تحسنا كبيرا على درجات F1 على أفضل طرق CPC الحالية.
تقدم هذه الورقة المهمة المشتركة 2021 على تحليل المشاعر الأبعاد للنصوص التعليمية التي تسعى إلى تحديد درجة المعنويات ذات القيمة الحقيقية لتعليقات التقييم الذاتي كتبها الطلاب الصينيين في كل من التكافؤ والأبعاد الإثراية.يمثل Valence درجة المشاعر اللطيفة وغير السارة (أو الإيجابية والسلبية)، وتمثل الإثريات درجة الإثارة والهدوء.من بين 7 فرق مسجلة لهذه المهمة المشتركة لتحليل المعنويات ثنائي الأبعاد، 6 نتائج مقدمة.نتوقع أن تنتج حملة التقييم هذه تقنيات تحليل المعنويات الأبعاد أكثر تقدما للمجال التعليمي.يتم إجراء جميع مجموعات البيانات مع معايير الذهب وتسجيل البرنامج النصي متاحا للباحثين.
تحظى بشعبية تطبيق النماذج العصبية القائمة على الرسم البياني في دراسات تحليل المعفاة القائمة على الجانب القائم على الجانب (ABSA) لاستخدام علاقات الكلمة من خلال يوزع التبعية لتسهيل المهمة مع التوجيه الدلالي الأفضل لتحليل السياق والكلمات. ومع ذلك، فإن م عظم هذه الدراسات فقط الاستفادة من علاقات التبعية فقط دون النظر لأنواع التبعية، وهي محدودة في عدم وجود آليات فعالة لتمييز العلاقات المهمة وكذلك التعلم من طبقات مختلفة من النماذج القائمة على الرسم البياني. لمعالجة هذه القيود، في هذه الورقة، نقترح نهجا للاستفادة بشكل صريح لأنواع التبعية من أجل ABSA مع الشبكات التنافسية الرسمية من النوع الواجب (T-GCN)، حيث يتم استخدام الاهتمام في T-GCN لتمييز حواف مختلفة (العلاقات) في يقترح الرسم البياني والطبقة اليقظة أن يتعلم بشكل شامل من طبقات مختلفة من T-GCN. يتم إثبات صلاحية وفعالية نهجنا في النتائج التجريبية، حيث يتم تحقيق الأداء الحديثة في مجموعات بيانات قياسية باللغة الإنجليزية. تتم إجراء مزيد من التجارب لتحليل مساهمات كل مكون في نهجنا وتوضيح كيفية مساعدة الطبقات المختلفة في T-GCN ABSA مع التحليل الكمي والنوعي.
يركز تحليل المعنويات المستندة إلى جانب جوانب (ABASA) عادة على استخراج الجوانب والتنبؤ بمشاعرهم على جمل فردية مثل مراجعات العملاء. في الآونة الأخيرة، تلقت منصة أخرى من برنامج تقاسم الرأي، وهي منتدى الإجابة على السؤال (QA)، شعبية متزايدة، التي تتراكم ع دد كبير من آراء المستخدم تجاه الجوانب المختلفة. هذا يحفزنا على التحقيق في مهمة ABASA على منتديات ضمان الجودة (ABASA-QA)، تهدف إلى الكشف بشكل مشترك بين الجوانب التي تمت مناقشتها وأسطابات المشاعر الخاصة بهم لفترة من ضمان الجودة. على عكس جمل المراجعة، يتكون زوج ضمان الجودة من جملتين موازيتين، مما يتطلب نمذجة التفاعل لمحاذاة الجانب المذكور في السؤال وأدائن الرأي المرتبط في الإجابة. تحقيقا لهذه الغاية، نقترح نموذجا بتصميم محدد للنمذجة المتعلقة بالتفاعل عن الجوانب عبر الجملة لمعالجة هذه المهمة. يتم تقييم الطريقة المقترحة على ثلاثة مجموعات بيانات حقيقية، وتظهرت النتائج أن نموذجنا يفوق على العديد من خطوط الأساس القوية المعتمدة من النماذج الحكومية ذات الصلة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا