نتعامل مع مشكلة شبكات التدريب الذاتي ل NLU في بيئة الموارد المنخفضة --- عدد قليل من البيانات المسمى والكثير من البيانات غير المسماة. إن فعالية التدريب الذاتي هي نتيجة لزيادة مقدار البيانات التدريبية أثناء التدريب. ومع ذلك، يصبح أقل فعالية في إعدادات الموارد المنخفضة بسبب الملصقات غير الموثوقة المتوقعة بواسطة نموذج المعلم على البيانات غير المسبقة. تم استخدام قواعد القواعد، التي تصف الهيكل النحوي للبيانات، في NLU للحصول على شرح أفضل. نقترح استخدام قواعد القواعد في التدريب الذاتي كآلية وضع العلامات الزائفة أكثر موثوقية، خاصة عندما يكون هناك عدد قليل من البيانات المسمى. نقوم بتصميم خوارزمية فعالة تقوم ببناء وتوسيع قواعد قواعد اللغة دون تورط بشري. ثم ندمج القواعد المبنية كآلية وضع العلامات الزائفة في التدريب الذاتي. هناك سيناريوهات محتملة فيما يتعلق بتوزيع البيانات: غير معروف أو معروف في التدريب قبل التدريب. إننا نوضح تجريبيا أن نهجنا يتفوق بشكل كبير على الأساليب الحديثة في ثلاث مجموعات بيانات معيار لكل من السيناريوهات.
We tackle the problem of self-training networks for NLU in low-resource environment---few labeled data and lots of unlabeled data. The effectiveness of self-training is a result of increasing the amount of training data while training. Yet it becomes less effective in low-resource settings due to unreliable labels predicted by the teacher model on unlabeled data. Rules of grammar, which describe the grammatical structure of data, have been used in NLU for better explainability. We propose to use rules of grammar in self-training as a more reliable pseudo-labeling mechanism, especially when there are few labeled data. We design an effective algorithm that constructs and expands rules of grammar without human involvement. Then we integrate the constructed rules as a pseudo-labeling mechanism into self-training. There are two possible scenarios regarding data distribution: it is unknown or known in prior to training. We empirically demonstrate that our approach substantially outperforms the state-of-the-art methods in three benchmark datasets for both scenarios.
References used
https://aclanthology.org/
Meta-learning has recently been proposed to learn models and algorithms that can generalize from a handful of examples. However, applications to structured prediction and textual tasks pose challenges for meta-learning algorithms. In this paper, we a
This paper investigates the effectiveness of pre-training for few-shot intent classification. While existing paradigms commonly further pre-train language models such as BERT on a vast amount of unlabeled corpus, we find it highly effective and effic
As the labeling cost for different modules in task-oriented dialog (ToD) systems is expensive, a major challenge is to train different modules with the least amount of labeled data. Recently, large-scale pre-trained language models, have shown promis
Despite their recent successes in tackling many NLP tasks, large-scale pre-trained language models do not perform as well in few-shot settings where only a handful of training examples are available. To address this shortcoming, we propose STraTA, wh
We introduce a method for generating error-correction rules for grammar pattern errors in a given annotated learner corpus. In our approach, annotated edits in the learner corpus are converted into edit rules for correcting common writing errors. The