ترغب بنشر مسار تعليمي؟ اضغط هنا

التعلم التعريف لتعميم المجال في التحليل الدلالي

Meta-Learning for Domain Generalization in Semantic Parsing

172   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

لقد تم الاعتراف بأهمية بناء المحللين الدلاليين الذين يمكن تطبيقهم على مجالات جديدة وإنشاء برامج غير مرئية في التدريب لفترة طويلة، وقد تم الاعتراف لفترة طويلة، وتصبح مجموعات البيانات اختبار الأداء خارج النطاق متاحة بشكل متزايد. ومع ذلك، فقد تم تخصيص اهتمام ضئيل أو معدوني لتعلم الخوارزميات أو الأهداف التي تعزز تعميم المجال، حيث تعتمد جميع الأساليب الموجودة تقريبا على التعلم المعياري الإشرافي. في هذا العمل، نستخدم إطارا للتعلم من التعريف الذي يستهدف تعميم المجال الصفرية للتحليل الدلالي. نحن نطبق خوارزمية التدريب النموذجية المرجعية التي تحاكي تحليل اللقطة الصفرية من خلال بناء القطار الافتراضي ومجموعات الاختبار من مجالات Disfoint. يستحق الهدف التعلم عن الحدس الذي يجب عليه اتخاذ خطوات التدرج التي تعمل على تحسين أداء مجال المصدر أيضا على تحسين أداء المجال المستهدف، وبالتالي تشجيع المحلل المحلل على تعميم المجالات المستهدفة غير المرئية. النتائج التجريبية على (الإنجليزية) عن مجموعات البيانات العنكبوت والصينية الصينية تظهر أن هدف التعلم التلوي يعزز بشكل كبير أداء محلل الأساس.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تهدف التحليل الدلالي إلى ترجمة كلام اللغة الطبيعية (NL) على البرامج القابلة للتفسير بالآلة، والتي يمكن تنفيذها مقابل بيئة عالمية حقيقية. منذ فترة طويلة تم الاعتراف بالشروح باهظة الثمن لأزواج برنامج الكلام كعقوبة رئيسية لنشر النماذج العصبية المعاصرة ل تطبيقات الحياة الحقيقية. في هذا العمل، نركز على مهمة التعلم شبه الإشراف حيث يتوفر كمية محدودة من البيانات المشروحة مع العديد من الكلمات غير المستقرة غير المسبقة. بناء على الملاحظة التي يجب أن تكون البرامج التي تتوافق مع الكلام NL قابلة للتنفيذ دائما، نقترح تشجيع المحلل المحلل لتوليد برامج قابلة للتنفيذ للكلمات غير المسبقة. نظرا لمسافة البحث الكبير للبرامج القابلة للتنفيذ، والأساليب التقليدية التي تستخدم شعاع البحث عن التقريب، مثل التدريب الذاتي والتدريب الهامشي الأعلى، لا تؤدي كذلك. بدلا من ذلك، نقترح مجموعة من أهداف التدريب الجديدة المستمدة من خلال الاقتراب من مشكلة التعلم من عمليات الإعدام من منظور التنظيم الخلفي. أهدافنا الجديدة تفوق الطرق التقليدية في الليلة الماضية والجيوقي، سد الفجوة بين التعليم شبه الإشرافه والإشراف.
البشر قادرون على تعلم مفاهيم جديدة من أمثلة قليلة جدا؛ في المقابل، تحتاج خوارزميات التعلم في الآلة الحديثة عادة الآلاف من الأمثلة للقيام بذلك. في هذه الورقة، نقترح خوارزمية لتعلم مفاهيم جديدة من خلال تمثيلها كبرامج بشأن المفاهيم القائمة. وبهذه الطريق ة، تعتبر مشكلة التعلم المفهوم بشكل طبيعي مشكلة تخليق برنامجا وتخصصت خوارزميةنا من بعض الأمثلة لتوليف برنامج يمثل مفهوم الرواية. بالإضافة إلى ذلك، نقوم بإجراء تحليل نظري لنهجنا للقضية التي يكون فيها البرنامج الذي يحدد مفهوم الرواية على تلك الموجودة خالية من السياق. نظهر أنه بالنظر إلى المحلل المحلل القائم على النحو المستفاد وقاعدة الإنتاج الجديدة، يمكننا زيادة المحلل بمحلل مع قاعدة الإنتاج بطريقة تعميم. نقيم نهجنا من خلال مفاهيم التعلم في مجال التحليل الدلالي الممتد إلى إعداد تعلم مفهوم الرواية القليلة، مما يظهر أن نهجنا يتفوق بشكل كبير على المحللين الدلالي العصبي المنتهي.
يهدف التعلم التعريف إلى تحسين قدرات النموذج على تعميم المهام والمجالات الجديدة. منعت عدم وجود طريقة فعالة للبيانات لإنشاء مهام التدريب META قد منع تطبيق التعلم التلوي لسيناريوهات التعلم القليلة في العالم الحقيقي. اقترحت الدراسات الحديثة مناهج غير مده ونة لإنشاء مهام تدريبية من البيانات غير المستدامة مجانا، على سبيل المثال، طريقة SMLMT (BANSAL et al.، 2020a) تقوم بمهام تصنيف متعددة الطبقات غير المعروضة من النص غير المستعود من خلال إخفاء الكلمات بشكل عشوائي في الجملة و دع Meta Learner يختار أي كلمة لملء الفراغ. تقترح هذه الدراسة نهجا تعليميا شبه إشرافه يشتمل على كل من قوة تمثيل النماذج اللغوية المدربة مسبقا مسبقا وقدرة التعميم على الشبكات النموذجية المعززة من قبل SMLMT. يتجنب نهج التدريب المنوي شبه المشرف على الشبكات النموذجية الجائرة على عدد صغير من أمثلة التدريب المسمى وسرعة يتعلم التمثيل الخاص بمهام المهام عبر المجال فقط من بعض الأمثلة الداعمة. من خلال دمج SMLMT مع الشبكات النموذجية، تعميم المتعلم التعريف بشكل أفضل من المجالات غير المرئية وتحقق دقة أعلى على الأمثلة خارج النطاق دون رفع ما قبل التدريب. نلاحظ تحسنا كبيرا في تعميم القليل من اللقطات بعد التدريب فقط على عدد قليل من العصر على مهام تصنيف النوايا التي تم تقييمها في إعداد متعدد المجالات.
تم اقتراح التعلم التلوي مؤخرا لتعلم النماذج والخوارزميات التي يمكن أن تعميمها من حفنة من الأمثلة.ومع ذلك، فإن تطبيقات التنبؤ الهيكلية والمهام النصية تشكل تحديات لخوارزميات التعلم التلوي.في هذه الورقة، نحن نطبق اثنين من خوارزميات التعلم التلوي، والشبك ات النموذجية والزواحف الزواحف، إلى عدد قليل من الرصاص التعرف على الكيان (NER)، بما في ذلك طريقة لإدماج نموذج اللغة قبل التدريب والحقول العشوائية الشرطية (CRF).نقترح خطة توليد المهام لتحويل مجموعات بيانات NER الكلاسيكية إلى إعداد القليل من الرصاص، لكل من التدريب والتقييم.باستخدام ثلاث مجموعات بيانات عامة، نظهر أن خوارزميات التعلم التلوي هذه تفوق خطاس بخبراء ذو صقل معقول.بالإضافة إلى ذلك، نقترح مزيجا جديدا من الشبكات النموذجية والزواحف.
تظهر الأبحاث الحديثة أن النماذج المدربة مسبقا (PTMS) مفيدة تجزئة الكلمات الصينية (CWS).ومع ذلك، فإن PTMS المستخدمة في الأعمال السابقة عادة ما تعتمد نمذجة اللغة كامرأة تدريبية مسبقا، تفتقر إلى معرفة تجزئة مسبقة خاصة بمهام المهام وتجاهل التناقض بين مها م ما قبل التدريب ومهام CWS المصب.في هذه الورقة، نقترح MetASE مطلقا مدربا مسبقا مسبقا CWS، والذي توظف هندسة موحدة ويشمل خوارزمية التعلم المعتوية في مهمة ما قبل التدريب متعدد المعايير.تظهر النتائج التجريبية أن METASEG يمكن أن تستخدم معرفة تجزئة مسبقة مشتركة من المعايير الحالية المختلفة وتخفيف التناقض بين النماذج المدربة مسبقا ومهام CWS المصب.علاوة على ذلك، يمكن أن يحقق MetASEG أداء جديدا على أحدث بيانات CWS المستخدمة على نطاق واسع وتحسين أداء النموذج بشكل كبير في إعدادات الموارد المنخفضة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا