تصنيف النص التجريدي هو مشكلة مدروسة على نطاق واسع ولها تطبيقات واسعة. في العديد من مشاكل العالم الحقيقي، يعد عدد النصوص الخاصة بنماذج تصنيف التدريب محدودا، مما يجعل هذه النماذج عرضة للجيش. لمعالجة هذه المشكلة، نقترح SSL-REG، نهج التنظيم المعتمد على البيانات بناء على التعلم الذاتي (SSL). SSL (Devlin et al.، 2019A) هو نهج تعليمي غير محدد يحدد المهام المساعدة على بيانات الإدخال دون استخدام أي ملصقات موجودة بين الإنسان وتعلم تمثيلات البيانات من خلال حل هذه المهام الإضافية. يتم تنفيذ مهمة SSL-REG، وهي مهمة تصنيف إشراف ومهمة SSL غير المدبرة في وقت واحد. المهمة SSL غير مدعومة، والتي يتم تعريفها بحتة على نصوص الإدخال دون استخدام أي ملصقات مقدمة بين الإنسان. يمكن للتدريب على نموذج باستخدام مهمة SSL منع النموذج من محفورا إلى عدد محدود من الملصقات الفئة في مهمة التصنيف. تجارب في 17 مجموعة بيانات تصنيف النص توضح فعالية طريقةنا المقترحة. رمز متاح في https://github.com/ucsd-ai4h/ssreg.
Abstract Text classification is a widely studied problem and has broad applications. In many real-world problems, the number of texts for training classification models is limited, which renders these models prone to overfitting. To address this problem, we propose SSL-Reg, a data-dependent regularization approach based on self-supervised learning (SSL). SSL (Devlin et al., 2019a) is an unsupervised learning approach that defines auxiliary tasks on input data without using any human-provided labels and learns data representations by solving these auxiliary tasks. In SSL-Reg, a supervised classification task and an unsupervised SSL task are performed simultaneously. The SSL task is unsupervised, which is defined purely on input texts without using any human- provided labels. Training a model using an SSL task can prevent the model from being overfitted to a limited number of class labels in the classification task. Experiments on 17 text classification datasets demonstrate the effectiveness of our proposed method. Code is available at https://github.com/UCSD-AI4H/SSReg.
References used
https://aclanthology.org/
Continual learning has become increasingly important as it enables NLP models to constantly learn and gain knowledge over time. Previous continual learning methods are mainly designed to preserve knowledge from previous tasks, without much emphasis o
Weakly-supervised text classification has received much attention in recent years for it can alleviate the heavy burden of annotating massive data. Among them, keyword-driven methods are the mainstream where user-provided keywords are exploited to ge
Transformer-based methods are appealing for multilingual text classification, but common research benchmarks like XNLI (Conneau et al., 2018) do not reflect the data availability and task variety of industry applications. We present an empirical comp
Text classifiers are regularly applied to personal texts, leaving users of these classifiers vulnerable to privacy breaches. We propose a solution for privacy-preserving text classification that is based on Convolutional Neural Networks (CNNs) and Se
Existing text classification methods mainly focus on a fixed label set, whereas many real-world applications require extending to new fine-grained classes as the number of samples per label increases. To accommodate such requirements, we introduce a