إجمالي التذكير: طريقة تعليمية مستمرة مخصصة للمحاورين الدلالي العصبي

تحقق هذه الورقة في التعلم المستمر لتحليل الدلالي. في هذا الإعداد، يتعلم المحلل الدلالي العصبي المهام بالتتابع دون الوصول إلى بيانات التدريب الكامل من المهام السابقة. فشل التطبيق المباشر لخوارزميات التعلم المستمرة لسوتا لهذه المشكلة في تحقيق أداء قابلا للمقارنة مع نماذج إعادة التدريب مع جميع المهام التي شوهدت لأنها لم تعتبر الخصائص الخاصة للنواتج المنظمة التي أسفرت عن المحللين الدلاليين. لذلك، نقترح totalrecall، وهي طريقة تعليمية مستمرة مصممة للمحطات الدلالية العصبية من جوانب: ط) طريقة أخذ العينات لإعادة الذاكرة التي تنويع قوالب النماذج المنطقية وأرصدة توزيعات تصرفات التحليل في الذاكرة؛ 2) طريقة تدريب ذات مرحامة تعمل بشكل كبير على تحسين القدرة على تعميم التعميم من المحللين عبر المهام. نقوم بإجراء تجارب مكثفة لدراسة المشاكل البحثية المتورطة في تحليل دلالي مستمر وتظهر أن المحلل الدلالي العصبي المدرب مع TotalRecall يحقق أداء فائقا من المرء الذي تم تدريبه مباشرة مع خوارزميات التعلم المستمرة SOTA وتحقيق تسريع 3-6 مرات مقارنة بإعادة التدريب من الصفر.

This paper investigates continual learning for semantic parsing. In this setting, a neural semantic parser learns tasks sequentially without accessing full training data from previous tasks. Direct application of the SOTA continual learning algorithms to this problem fails to achieve comparable performance with re-training models with all seen tasks because they have not considered the special properties of structured outputs yielded by semantic parsers. Therefore, we propose TotalRecall, a continual learning method designed for neural semantic parsers from two aspects: i) a sampling method for memory replay that diversifies logical form templates and balances distributions of parse actions in a memory; ii) a two-stage training method that significantly improves generalization capability of the parsers across tasks. We conduct extensive experiments to study the research problems involved in continual semantic parsing and demonstrate that a neural semantic parser trained with TotalRecall achieves superior performance than the one trained directly with the SOTA continual learning algorithms and achieve a 3-6 times speedup compared to re-training from scratch.