تم استخدام خوارزميات التعلم التلوي من الدرجة الأولى على نطاق واسع في الممارسة لتعلم معلمات النماذج الأولية التي يمكن تكييفها بسرعة مع مهام جديدة بسبب كفاءتها وفعاليتها. ومع ذلك، تجد الدراسات الحالية أن Meta-Learner يمكن أن يتألف إلى بعض التكيف المحدد عندما يكون لدينا مهام غير متجانسة، مما يؤدي إلى أدائه المتدهورة بشكل كبير. في تطبيقات معالجة اللغة الطبيعية (NLP)، غالبا ما تكون مجموعات البيانات متنوعة وكل مهمة لها خصائصها الفريدة. لذلك، لمعالجة القضية الجاكهة عند تطبيق تطبيق التعلم من الدرجة الأولى من الدرجة الأولى إلى تطبيقات NLP، نقترح تخفيض تباين مقدر التدرج المستخدم في تكيف المهام. تحقيقا لهذه الغاية، نقوم بتطوير خوارزمية للتعلم من الدرجة الأولى من الدرجة الأولى من الدرجة الأولى. جوهر خوارزميةنا هو إدخال مصطلح تقليل متباين رواية لتقدير التدرج عند إجراء تكيف المهمة. تجارب على تطبيقين NLP: يظهر تتبع عدد قليل من التصنيف النصي وتتبع حالة الحوار متعدد المجالات الأداء الفائق لطرأنا المقترحة.
First-order meta-learning algorithms have been widely used in practice to learn initial model parameters that can be quickly adapted to new tasks due to their efficiency and effectiveness. However, existing studies find that meta-learner can overfit to some specific adaptation when we have heterogeneous tasks, leading to significantly degraded performance. In Natural Language Processing (NLP) applications, datasets are often diverse and each task has its unique characteristics. Therefore, to address the overfitting issue when applying first-order meta-learning to NLP applications, we propose to reduce the variance of the gradient estimator used in task adaptation. To this end, we develop a variance-reduced first-order meta-learning algorithm. The core of our algorithm is to introduce a novel variance reduction term to the gradient estimation when performing the task adaptation. Experiments on two NLP applications: few-shot text classification and multi-domain dialog state tracking demonstrate the superior performance of our proposed method.
References used
https://aclanthology.org/
Deep reinforcement learning (RL) methods often require many trials before convergence, and no direct interpretability of trained policies is provided. In order to achieve fast convergence and interpretability for the policy in RL, we propose a novel
Due to its great power in modeling non-Euclidean data like graphs or manifolds, deep learning on graph techniques (i.e., Graph Neural Networks (GNNs)) have opened a new door to solving challenging graph-related NLP problems. There has seen a surge of
This article explores the potential for Natural Language Processing (NLP) to enable a more effective, prevention focused and less confrontational policing model that has hitherto been too resource consuming to implement at scale. Problem-Oriented Pol
Despite its proven efficiency in other fields, data augmentation is less popular in the context of natural language processing (NLP) due to its complexity and limited results. A recent study (Longpre et al., 2020) showed for example that task-agnosti
Recent studies show that many NLP systems are sensitive and vulnerable to a small perturbation of inputs and do not generalize well across different datasets. This lack of robustness derails the use of NLP systems in real-world applications. This tut