ترغب بنشر مسار تعليمي؟ اضغط هنا

الحساسية كتدبير تعقيد لمهام تصنيف التسلسل

Sensitivity as a Complexity Measure for Sequence Classification Tasks

649   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

الملخص نقدم إطارا نظري لفهم وتوقع تعقيد مهام تصنيف التسلسل، باستخدام تمديد جديد لنظرية حساسية وظيفة المنطقية. حساسية الوظيفة، نظرا للتوزيع على تسلسل الإدخال، يحدد عدد الفك القصير من تسلسل الإدخال الذي يمكن تغيير كل منهما بشكل فردي لتغيير الإخراج. نقول أن أساليب تصنيف التسلسل القياسية متحيزة نحو تعلم وظائف الحساسية المنخفضة، بحيث تكون المهام التي تتطلب حساسية عالية أكثر صعوبة. تحقيقا لهذه الغاية، نظهر تحليليا أن المصنفات المعجمية البسيطة يمكن أن تعبر فقط عن وظائف الحساسية المحددة، ونظرا تجريبيا أن وظائف الحساسية المنخفضة هي أسهل للتعلم من أجل LSTMS. ثم نقدر الحساسية في 15 مهام NLP، ويجد أن الحساسية أعلى على المهام الصعبة التي تم جمعها في الغراء أكثر من مهام تصنيف النص البسيطة، وأن الحساسية تتنبأ بأداء كل من المصنفات المعجمية البسيطة والفانيليا BILSTMS دون إشارة إلى تضمينات محاط بأذى. في غضون مهمة، تتوقع الحساسية المدخلات من الصعب على هذه النماذج البسيطة. تشير نتائجنا إلى أن نجاح التمثيلات السياقية المسبقة بشكل كبير ينبع جزئيا لأنهم يقدمون تمثيلات يمكن استخراج المعلومات من خلال فك رموز حساسية منخفضة الحساسية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تدرس هذه الورقة التعلم المستمر (CL) بتسلسل مهام تصنيف معنويات الجانب (ASC).على الرغم من اقتراح بعض تقنيات CL لتصنيف معنويات المستندات، إلا أننا لسنا على علم بأي عمل CL على ASC.يجب أن يتعلم نظام CL الذي يتعلم تدريجيا سلسلة من مهام ASC المشكلتين التالي ين: (1) نقل المعرفة المستفادة من المهام السابقة إلى المهمة الجديدة للمساعدة في تعلم نموذج أفضل، و (2) الحفاظ على أداء النماذجالمهام السابقة بحيث لا تنسى.تقترح هذه الورقة نموذجا قائم على شبكة كبسولة رواية يسمى B-CL لمعالجة هذه المشكلات.ب-CL يحسن بشكل ملحوظ أداء ASC على كل من المهمة الجديدة والمهام القديمة عبر نقل المعرفة للأمام والخلف.يتم إثبات فعالية B-CL من خلال تجارب واسعة.
مشاكل صعبة مثل استجابة الأسئلة المفتوحة للنطاق الرد، وفحص الحقائق، وربط فتحة وملء الكيان تتطلب الوصول إلى مصادر المعرفة الكبيرة والخارجية. في حين أن بعض النماذج تعمل بشكل جيد على المهام الفردية، فإن النماذج العامة النامية صعبة لأن كل مهمة قد تتطلب فه رسة باهظة الثمن على حساب مصادر المعرفة المخصصة، بالإضافة إلى البنية التحتية المخصصة. لتحفيز البحث على النماذج التي تشرح معلومات محددة في موارد نصية كبيرة، نقدم معيارا للمهام اللغوية المكثفة المعرفة (KILT). ترتكز جميع المهام في Kilt في نفس لقطة Wikipedia، مما يقلل من تحول الهندسة من خلال إعادة استخدام المكونات، بالإضافة إلى تسريع البحوث في هياكل الذاكرة المرجعية المهمة. نحن نختبر كل من خطوط الأساس الخاصة ومجموعة العمل، وتقييم أداء المصب بالإضافة إلى قدرة النماذج على توفير الأصل. نجد أن مؤشر ناقلات كثيف مشترك مقترن بنموذج SEQ2SEQ هو خط أساس قوي، مما يتفوق على المزيد من الأساليب المصنوعة من الخياطة لفحص الحقائق، والإجابة على سؤال المجال المفتوح والحوار، وإنشاء نتائج تنافسية على ربط الكيان وملء الفتحة، عن طريق توليد disambigguated نص. تتوفر بيانات وكود Kilt في https://github.com/facebookresearch/kilt.
الأساليب نهاية إلى نهاية لمهام التسلسل أصبحت شعبية بشكل متزايد. ومع ذلك بالنسبة لمهام التسلسل المعقدة، مثل ترجمة الكلام، فإن الأنظمة التي تتالي أن العديد من النماذج المدربة على المهام الفرعية قد أظهرت متفوقة، مما يشير إلى أن تكوين النظم المتتالية يبس ط التعلم وتمكين قدرات البحث المتطورة. في هذا العمل، نقدم إطارا نهاية إلى نهائي يستغل التركيز لتعلم التمثيلات المخفية القابلة للبحث في المراحل المتوسطة لنموذج التسلسل باستخدام المهام الفرعية المتحللة. يمكن تحسين هذه الوسيط المخفي باستخدام بحث الشعاع لتعزيز الأداء العام ويمكنه أيضا دمج النماذج الخارجية في المراحل المتوسطة للشبكة لإعادة النتيجة أو التكيف باتجاه بيانات خارج المجال. مثيل واحد من الإطار المقترح هو نموذج متعدد اللمعان لترجمة الكلام التي تستخرج الوسطيات المخفية القابلة للبحث عن مهمة فرعية للتعرف على الكلام. يوضح النموذج الفوائد المذكورة أعلاه وتفوق على الحالة السابقة من بين الفن من خلال +6 و +3 بلو على مجموعتي الاختبار من Fisher-Callhome وحوالي +3 و +4 بلو على اللغة الإنجليزية والألمانية والإنجليزية - مجموعات اختبار فرنسية من must-c.
تصنيف العاطفة متعددة العلامات هو مهمة مهمة في NLP وهي ضرورية للعديد من التطبيقات.في هذا العمل، نقترح نهج التسلسل إلى العاطفة (SEQ2EMO)، الذي نماذج ضمنيا علاقات العاطفة في وحدة فك ترميز ثنائية الاتجاه.تظهر التجارب في مجموعات بيانات Semeval'18 و Goemot ions أن نهجنا تتفوق على الأساليب الحديثة (دون استخدام البيانات الخارجية).على وجه الخصوص، يتفوق SEQ2EMO على نهج السلسلة ذات الصلة الثنائية (BR) وسلسلة التصنيف (CC) في بيئة عادلة.
الأساليب السابقة لتجزئة النص هي في الغالب على مستوى الرمز المميز.على الرغم من الكفاية، تحد هذه الطبيعة من إمكاناتها الكاملة لالتقاط التبعيات طويلة الأجل بين القطاعات.في هذا العمل، نقترح إطارا جديدا يزدر أدرج جمل اللغة الطبيعية في مستوى القطاع.لكل خطو ة في تجزئة، يعترف الجزء الأكبر في أقصى اليسار من التسلسل المتبقي.تنطوي التطبيقات على تقنية LSTM-ناقص لبناء تمثيل العبارات والشبكات العصبية المتكررة (RNN) لنموذج تكرارات تحديد الأقصى اليمنى.لقد أجرينا تجارب واسعة النطاق على العلامات على الجزء العلوي من قطع البيانات والصينية (POS) عبر 3 مجموعات من مجموعات البيانات، مما يدل على أن أساليبنا تتفوق بشكل كبير على جميع خطوط الأساس السابقة وحققت نتائج جديدة من الفنادق الجديدة.علاوة على ذلك، فإن التحليل النوعي والدراسة حول تجزئة الجمل الطويلة الطويلة تحقق من فعاليته في نمذجة التبعيات طويلة الأجل.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا