ترغب بنشر مسار تعليمي؟ اضغط هنا

تقييد التعلم متعدد المهام لدقة حل السلاسة

Constrained Multi-Task Learning for Event Coreference Resolution

424   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نقترح النموذج الفوري الحدث العصبي الذي يتم فيه تدريب كائن تحرير الحدث بشكل مشترك مع خمس مهام: اكتشاف الزناد، كائن كور السلاح، تصميم المشمول، اكتشاف Realis، استخراج الوسيطة.لتوجيه تعلم هذا النموذج المعقد، فإننا ندمج قيود الاتساق عبر المهام في عملية التعلم كقيوب ناعمة من خلال تصميم عقوبة الوظائف.بالإضافة إلى ذلك، نقترح فكرة الرواية المتمثلة في عرض كائن العناية والحقوق الحدث بمهمة كائن تحرير واحدة، والتي نعتقد أنها خطوة نحو نموذج موحد لدق السلاح.ينتج النموذج الناتج نتائج أحدث النتائج في مجموعة بيانات QBP 2017 Aquerence.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تهدف التصنيف متعدد الوسائط واسع النطاق إلى التمييز بين مختلف البيانات متعددة الوسائط، وقد لفت الانتباه بشكل كبير منذ العقد الماضي. في هذه الورقة، نقترح إطارا متعدد المهام في مجال التعلم لمهمة التصنيف المتعدد الوسائط، والتي تتكون من فرعين: فرع متعدد ا لأضوانات متعدد الوسائط وفرع النمذجة متعددة الوسائط المستنتيت بالاهتمام. يمكن أن يتلقى AutoNcoder متعدد الوسائط ميزات متعددة الوسائط والحصول على المعلومات التفاعلية التي تسمى ميزة التشفير متعددة الوسائط، واستخدام هذه الميزة لإعادة تكوين جميع بيانات الإدخال. بالإضافة إلى ذلك، يمكن استخدام ميزة التشفير المتعددة مشروط لإثراء بيانات DataSet RAW، وتحسين أداء مهام المصب (مثل مهمة التصنيف). أما بالنسبة لفرع النمذجة المتعددة الأبعاد القائم على الانتباه، فإننا نوصي أولا آلية الاهتمام لجعل النموذج يركز على الميزات المهمة، ثم نستخدم ميزة التشفير متعددة الوسائط لإثراء معلومات الإدخال، وتحقيق أداء أفضل. نقوم بإجراء تجارب مكثفة على مجموعة بيانات مختلفة، توضح النتائج فعالية الإطار المقترح.
نقدم COTEXT، وهو نموذج ترميز ترميز مدرب مسبقا مدرب مسبقا، يتعلم السياق التمثيلي بين اللغة الطبيعية (NL) ولغة البرمجة (PL). باستخدام الإشراف الذاتي، تم تدريب COTEX مسبقا على لغة البرمجة الكبيرة لشركة Corpora لتعلم فهم عام للغة والرمز. يدعم COTEXT مهام NL-PL المصب مثل الرمز الملخص / الوثائق، وتوليد الرموز، والكشف عن العيوب، وتصحيح التعليمات البرمجية. نحن ندرب مشعك على مجموعات مختلفة من Corpus المتوفرة المتوفرة بما في ذلك البيانات BIMODAL 'و Unimodal'. هنا، بيانات BIMODAL هي مزيج من النصوص النصية والنصوص المقابلة، في حين أن البيانات غير المستخدمة هي مجرد مقتطفات رمز. نقيم أولا COTEXT مع التعلم متعدد المهام: نقوم بإجراء تلخيص الكود على 6 لغات برمجة مختلفة وصقل التعليمات البرمجية على كل من الحجم الصغير والمتوسط ​​المميز في DataSet Codexglue. كلنا إجراء تجارب مكثفة للتحقيق في COTEXT على مهام أخرى ضمن DataSet Codexglue، بما في ذلك توليد التعليمات البرمجية والكشف عن العيوب. نحن نتحمل باستمرار نتائج SOTA في هذه المهام، مما يدل على تنوع نماذجنا.
لا يزال مخصصات المجال في التحليل النحوي تحديا كبيرا.نحن نعلم مسألة عدم توازن البيانات بين النطاق داخل المجال والخروج من النطاق يستخدم عادة للمشكلة.نحدد تكيف النطاق كمشكلة تعليمية متعددة المهام (MTL)، والتي تتيح لنا تدريب اثنين من المحللين، واحدة لكل منها الرئيسية.تظهر نتائجنا أن نهج MTL مفيد لنقش Treebank الأصغر.بالنسبة لأكبر Treebank، نحتاج إلى استخدام وزن الخسارة من أجل تجنب انخفاض في الأداء المهمة الفردية.من أجل تحديد درجة توهت البيانات، فإن اختلال البيانات بين مجطتين واختلافات المجال تؤثر على النتائج، ونحن نقوم أيضا بتجربة اثنين من Treebanks غير المتوازن داخل المجال وإظهار أن وزن الخسارة يحسن أيضا الأداء في إعداد المجال.نظرا لارتداء الخسارة في MTL، يمكننا تحسين النتائج لكل من المحللين.
تحليل المعنويات الفئة في الأساس (ACSA)، والتي تهدف إلى تحديد أساور المشاعر المحبوبة من فئات الارتفاع المناقشات في مراجعات المستخدمين. ACSA صعبة ومكلفة عند إجراءها في تطبيقات عالمية حقيقية، والتي ترجع بشكل رئيسي إلى الأسباب التالية: 1.) وعلم بيانات AC SA الفاخرة غالبا ما تكون كثيفة العمالة. 2.) سيتم تحديث فئات الارتفاع بشكل ديناميكي وتعديلها بتطوير سيناريوهات التطبيق، مما يعني أن البيانات يجب أن تنعيم بشكل متكرر. 3.) نظرا لزيادة فئات الارتفاع، يجب إعادة تدريب النموذج بشكل متكرر للتكيف السريع مع بيانات فئة الجانب الإضافية حديثا. للتغلب على المشكلات المذكورة أعلاه، نقدم نهجا جديدا للتعلم من التعلم متعددة المهام (MMTL)، هذه المهام ACSA بمثابة مشكلة في التعلم التلوي (أي فيما يتعلق بمشاكل تصنيف قطباء القطبية في الفئة في الفئة مثل المهام التدريبية المختلفة لل meta - التعلم) لتعلم تهيئة مثالية وقابلة للتخصيرة نموذج التعلم متعدد المهام التي يمكن تكييفها مع مهام ACSA الجديدة بكفاءة وفعالية. تشير نتائج التجربة إلى أن النهج المقترح يتفوق بشكل كبير على النموذج الأساسي القائم على المحولات القائم على المحولات القوية مسبقا، خاصة، في حالة وجود بيانات تدريبية على غرامة أقل وصفها.
أظهرت نماذج الترجمة الآلية غير التلقائية (NAT) تسريعا كبيرا للاستدلال، لكنها تعاني من دقة ترجمة أدنى. الممارسة الشائعة لمعالجة المشكلة هي نقل الترجمة الآلية التلقائي (في) معرفة نماذج NAT، على سبيل المثال، مع تقطير المعرفة. في هذا العمل، نحن نفترض وال تحقق تجريبيا من أن ترميز اللوائح في و NAT التقاط خصائص لغوية مختلفة من الجمل المصدر. لذلك، نقترح اعتماد التعلم متعدد المهام لنقل المعرفة إلى نماذج NAT من خلال تقاسم التشفير. على وجه التحديد، نأخذ النموذج في المهمة المساعدة لتعزيز أداء نموذج NAT. تظهر النتائج التجريبية على مجموعات بيانات WMT14 EN-DE و WMT16 EN-RO أن المهمة المتعددة المقترحة NAT تحقق تحسينات كبيرة على نماذج الأساس NAT. علاوة على ذلك، تؤكد الأداء الموجود على مجموعات بيانات WMT19 و WMT20 و WMT20 واسعة النطاق اتساق طريقةنا المقترحة. بالإضافة إلى ذلك، توضح النتائج التجريبية أن لدينا NAT متعددة المهام لدينا مكملة لتقطير المعرفة، وسيلة نقل المعرفة القياسية لل NAT.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا