ما بعد Black \ & White: الاستفادة من خلاف Annotator عن طريق التعلم المتعدد التسمية المتعددة

التعلم الإشرافه يفترض أن ملصق الحقيقة الأرض موجود.ومع ذلك، فإن موثوقية هذه الحقيقة الأرضية تعتمد على المنشآت البشرية، التي لا توافق في كثير من الأحيان.وقد أظهر العمل السابق أن هذا الخلاف يمكن أن يكون مفيدا في نماذج التدريب.نقترح طريقة جديدة لدمج هذا الخلاف كمعلومات: بالإضافة إلى حساب الأخطاء القياسي، نستخدم التسميات الناعمة (أي توزيعات الاحتمالات على الملصقات Annotator) كملقمة مساعدة في شبكة عصبية متعددة المهام.نقيس الاختلاف بين التنبؤات والملصقات الناعمة المستهدفة مع العديد من وظائف الخسائر وتقييم النماذج على مهام NLP المختلفة.نجد أن المهمة الإضافية للتنبؤ بالعلامة الناعمة تقلل من عقوبة الأخطاء بشأن الكيانات الغامضة، وبالتالي تخفف من التجول.يحسن بشكل كبير الأداء عبر المهام، بما يتجاوز النهج القياسي والعمل السابق.

Supervised learning assumes that a ground truth label exists. However, the reliability of this ground truth depends on human annotators, who often disagree. Prior work has shown that this disagreement can be helpful in training models. We propose a novel method to incorporate this disagreement as information: in addition to the standard error computation, we use soft-labels (i.e., probability distributions over the annotator labels) as an auxiliary task in a multi-task neural network. We measure the divergence between the predictions and the target soft-labels with several loss-functions and evaluate the models on various NLP tasks. We find that the soft-label prediction auxiliary task reduces the penalty for errors on ambiguous entities, and thereby mitigates overfitting. It significantly improves performance across tasks, beyond the standard approach and prior work.