على سبيل المثال - التدريب التكيفي مع خسائر قوية ضد الضوضاء ضد الملصقات الصاخبة

من أجل تخفيف الطلب الكبير على مجموعات البيانات المشروح للمهام المختلفة، اعتمدت العديد من مجموعات بيانات معالجة اللغات الطبيعية الحديثة خطوط أنابيب آلية للبيانات القابلة للاستخدام السريع. ومع ذلك، فإن التدريب النموذجي مع مثل هذه البيانات يشكل تحديا لأن أهداف التحسين الشائعة ليست قوية لتسمية الضوضاء الناجمة عن عملية توليد التوضيحية. تم اقتراح العديد من الخسائر القوية للضوضاء وتقييمها في المهام في رؤية الكمبيوتر، لكنها تستخدم عموما فرط DataSet-WiseParamter واحد للتحكم في قوة مقاومة الضوضاء. يقترح هذا العمل أطر تدريبية جديدة على سبيل المثال لتغيير فرط بيانات DataSet واحد من مقاومة الضوضاء في مثل هذه الخسائر لتكون مثالا. توقع هؤلاء مثيل - Hyperparameters مقاومة للضوضاء من خلال تنبؤات ذات جودة عالية على مستوى التصنيف، والتي يتم تدريبها مع نماذج التصنيف الرئيسية. تظهر تجارب مجموعات بيانات NLP الصاخبة والفساد أن أطر التدريب على سبيل المثال المقترحة على سبيل المثال تساعد في زيادة متانة الضوضاء التي توفرها هذه الخسائر، وتعزيز استخدام الأطر والأطر الخسائر المرتبطة بها في نماذج NLP المدربة مع بيانات صاخبة.

In order to alleviate the huge demand for annotated datasets for different tasks, many recent natural language processing datasets have adopted automated pipelines for fast-tracking usable data. However, model training with such datasets poses a challenge because popular optimization objectives are not robust to label noise induced in the annotation generation process. Several noise-robust losses have been proposed and evaluated on tasks in computer vision, but they generally use a single dataset-wise hyperparamter to control the strength of noise resistance. This work proposes novel instance-adaptive training frameworks to change single dataset-wise hyperparameters of noise resistance in such losses to be instance-wise. Such instance-wise noise resistance hyperparameters are predicted by special instance-level label quality predictors, which are trained along with the main classification models. Experiments on noisy and corrupted NLP datasets show that proposed instance-adaptive training frameworks help increase the noise-robustness provided by such losses, promoting the use of the frameworks and associated losses in NLP models trained with noisy data.