مخفض التباين من الدرجة الأولى التعلم من أجل مهام معالجة اللغة الطبيعية

تم استخدام خوارزميات التعلم التلوي من الدرجة الأولى على نطاق واسع في الممارسة لتعلم معلمات النماذج الأولية التي يمكن تكييفها بسرعة مع مهام جديدة بسبب كفاءتها وفعاليتها. ومع ذلك، تجد الدراسات الحالية أن Meta-Learner يمكن أن يتألف إلى بعض التكيف المحدد عندما يكون لدينا مهام غير متجانسة، مما يؤدي إلى أدائه المتدهورة بشكل كبير. في تطبيقات معالجة اللغة الطبيعية (NLP)، غالبا ما تكون مجموعات البيانات متنوعة وكل مهمة لها خصائصها الفريدة. لذلك، لمعالجة القضية الجاكهة عند تطبيق تطبيق التعلم من الدرجة الأولى من الدرجة الأولى إلى تطبيقات NLP، نقترح تخفيض تباين مقدر التدرج المستخدم في تكيف المهام. تحقيقا لهذه الغاية، نقوم بتطوير خوارزمية للتعلم من الدرجة الأولى من الدرجة الأولى من الدرجة الأولى. جوهر خوارزميةنا هو إدخال مصطلح تقليل متباين رواية لتقدير التدرج عند إجراء تكيف المهمة. تجارب على تطبيقين NLP: يظهر تتبع عدد قليل من التصنيف النصي وتتبع حالة الحوار متعدد المجالات الأداء الفائق لطرأنا المقترحة.

First-order meta-learning algorithms have been widely used in practice to learn initial model parameters that can be quickly adapted to new tasks due to their efficiency and effectiveness. However, existing studies find that meta-learner can overfit to some specific adaptation when we have heterogeneous tasks, leading to significantly degraded performance. In Natural Language Processing (NLP) applications, datasets are often diverse and each task has its unique characteristics. Therefore, to address the overfitting issue when applying first-order meta-learning to NLP applications, we propose to reduce the variance of the gradient estimator used in task adaptation. To this end, we develop a variance-reduced first-order meta-learning algorithm. The core of our algorithm is to introduce a novel variance reduction term to the gradient estimation when performing the task adaptation. Experiments on two NLP applications: few-shot text classification and multi-domain dialog state tracking demonstrate the superior performance of our proposed method.