ترغب بنشر مسار تعليمي؟ اضغط هنا

selfexplain: هندسة موضحة ذاتيا من مصنفات النص العصبي

SELFEXPLAIN: A Self-Explaining Architecture for Neural Text Classifiers

484   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نحن نقدم SelfExPlain، وهو نموذج جديد يشرح ذاتيا يفسر تنبؤات تصنيف النص باستخدام المفاهيم القائمة على العبارة.SelfExplain تزويد الأقراص العصبية الموجودة من خلال إضافة (1) طبقة مخصصة عالمية تحدد المفاهيم الأكثر نفوذا في مجموعة التدريب لعينة معينة و (2) طبقة قابلة للتفسير محليا تهدئ مساهمة كل مفهوم إدخال محلي عن طريق الحوسبة درجة الأهميةبالنسبة إلى التسمية المتوقعة.تظهر التجارب عبر خمسة مجموعات بيانات تصنيف نصية أن SelfExPlain يسهل الترجمة الشفوية دون التضحية بالأداء.الأهم من ذلك، تفسيرات من إظهار نفس إظهار الكفاية عن التنبؤات النموذجية وترى أنها كافية وجديرة بالثقة ومفهومة من قبل القضاة البشرية مقارنة مع خطوط الأساس المستخدمة على نطاق واسع.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نقترح إطارا جديدا لتدريب النماذج لتصنيف مقبولية الردود الناتجة عن نماذج توليد اللغة الطبيعية (NLG)، وتحسين تحويل الجملة الحالية والنهج القائمة على النماذج. يعتبر استجابة NLG مقبولة إذا كانت كل من صحيحة وتجميعها. نحن لا نستخدم أي مراجع بشرية مما يجعل المصنفين مناسبين لنشر وقت التشغيل. يتم الحصول على بيانات التدريب للصفوف المصنفة باستخدام نهج من 2 مراحل من أول توليد البيانات الاصطناعية باستخدام مزيج من النهج القائمة والجديدة القائمة على النموذج متبوعا بإطار التحقق من صحة جديدة لتصفية وفرز البيانات الاصطناعية في فئات مقبولة وغير مقبولة. يتكيف نهجنا ذو المرحلتين لدينا بمجموعة واسعة من تمثيل البيانات ولا يتطلب بيانات إضافية تتجاوز ما يتم تدريب نماذج NLG عليها. وهي أيضا مستقلة عن الهندسة المعمارية النموذجية NLG الأساسية، وقادرة على توليد عينات أكثر واقعية قريبة من توزيع الردود الناتجة عن النموذج NLG. نقدم النتائج على 5 مجموعات بيانات (Webnlg، وتنظيفها E2E، Viggo، والتنبيه، والطقس) بتمثيلات بيانات متفاوتة. قارن إطار عملنا مع التقنيات الحالية التي تنطوي على توليد بيانات الاصطناعية باستخدام تحويلات جملة بسيطة و / أو تقنيات قائمة على الطراز، وإظهار أن بناء مصنف مقبولية يستخدمون البيانات التي تشبه مخرجات طراز الجيل تتبع إطار التحقق من الصحة تتفوق على التقنيات الحالية، وتحقيق الدولة النتائج من الفن. نظهر أيضا أن تقنياتنا يمكن استخدامها في إعدادات قليلة عند استخدام التدريب الذاتي.
الشبكات العصبية العميقة عرضة للهجمات الخصومة، حيث اضطراب صغير في المدخل يغير التنبؤ النموذجي.في كثير من الحالات، يمكن أن تخدع المدخلات الخبيثة عن قصد لنموذج واحد نموذج آخر.في هذه الورقة، نقدم الدراسة الأولى للتحقيق بشكل منهجي في تحويل أمثلة الخصومة ب شكل منهجي لنماذج تصنيف النص واستكشاف كيفية تأثير مختلف العوامل، بما في ذلك بنية الشبكة، نظام التكتلات، وإدماج الكلمات، والقدرة النموذجية، على تحويل أمثلة الخصومة.بناء على هذه الدراسات، نقترح خوارزمية وراثية للعثور على مجموعة من النماذج التي يمكن استخدامها لتحفيز أمثلة الخصومة لخداع جميع النماذج الحالية تقريبا.تعكس هذه الأمثلة المخدرة عيوب عملية التعلم وتحيز البيانات في مجموعة التدريب.أخيرا، نحن نستمد قواعد استبدال الكلمات التي يمكن استخدامها لتشخيصات النموذج من هذه الأمثلة الخصومة.
إن فهم كيفية ترميز الهيكل اللغوي في التضمين السياق يمكن أن يساعد في تفسير أدائه المثير للإعجاب عبر NLP.عادة ما تدعو النهج الحالية لتحقيقها عادة إلى تدريب الطبقات وتستخدم الدقة والمعلومات المتبادلة أو التعقيد كوكيل لخير التمثيل.في هذا العمل، نجادل بأن القيام بذلك يمكن أن يكون غير موثوق به لأن تمثيلات مختلفة قد تحتاج إلى طبقات مختلفة.نقوم بتطوير إرشادي، DirectProbe، يدرس مباشرة هندسة التمثيل من خلال البناء عند فكرة مساحة الإصدار لمهمة.تبين التجارب التي لديها العديد من المهام اللغوية والموظفة السياقية أنه، حتى بدون منصوص قياسات التدريب، يمكن أن يضيء DirectProbe الأنوار حول كيفية تمثيل مساحة التضمين ملصقات وتوقع أيضا أداء المصنف للتمثيل أيضا.
غالبا ما يتطلب جيل النص الشرطي القيود المعجمية، أي الكلمات التي يجب أو لا ينبغي إدراجها في نص الإخراج. في حين أن الوصفة المهيمنة لجيل النظام الشرطي كانت نماذج لغوية متماثلة على نطاق واسع يتم تصويرها على بيانات التدريب الخاصة بمهام المهام، فإن مثل هذه النماذج لا تتعلم اتباع القيود الأساسية بشكل موثوق، حتى عند الإشراف على كميات كبيرة من الأمثلة الخاصة بمهام المهام وبعد نقترح فك التشفير العصبي، خوارزمية بسيطة ولكنها فعالة تمكن نماذج اللغة العصبية - تحت إشراف أو لا - لتوليد نص بطلاقة مع مرضية القيود المعقدة المعقدة. نهجنا قوي بعد كفاءة. يتعامل مع أي مجموعة من القيود المعجمية المعبرة تحت المنطق المسند، في حين أن وقت التشغيل مقاربها يعادل البحث عن شعاع التقليدية. تظهر النتائج التجريبية على أربعة معايير أن فك التشفير العصبي تتفوق على النهج السابقة، بما في ذلك الخوارزميات التي تتعامل مع مجموعة فرعية من قيودنا. علاوة على ذلك، نجد أن النماذج غير الخاضعة للكشف عن فك التشفير العصبي في كثير من الأحيان تفوق النماذج الخاضعة للإشراف مع فك التشفير التقليدي، حتى عندما تستند الأخير إلى شبكات أكبر بكثير. تشير نتائجنا إلى حد الشبكات العصبية واسعة النطاق لتوليد القابل للتحكم بالقلق ووعد خوارزميات وقت الاستقدمية.
نقترح مهمة مشتركة على اختيار مثيل التدريب لعدد قليل من الجيل العصبي العصبي.أدت نماذج اللغة المحددة مسبقا على نطاق واسع إلى تحسينات مثيرة في جيل نص قليل.ومع ذلك، فإن كل العمل السابق تقريبا يطبق ما عليك سوى أخذ عينات عشوائية لتحديد مثيلات التدريب القلي لة.لقد تم إيلاء الاهتمام ليس إلى استراتيجيات الاختيار وكيف سيؤثرون على أداء النموذج.دراسة استراتيجية الاختيار يمكن أن تساعدنا (1) الاستفادة القصوى من ميزانية التوضيحية الخاصة بنا في مهام المصب و (2) من أفضل النماذج الإندارية النصية ذات القليل من القصاصات.نرحب بالتقديمات التي تقدم استراتيجيات اختيارها والآثار على جودة الجيل.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا