يتوقع فوائد الإشراف العرضي

غالبا ما تتطلب تطبيقات العالم الواقعي نماذج محسنة عن طريق الاستفادة * مجموعة من إشارات الإشراف العرضي الرخيص *. يمكن أن تشمل هذه ملصقات جزئية، ملصقات صاخبة، قيود قائمة على المعرفة، والشروح عبر المجال أو التعليق الشرح - جميعها وجود ارتباطات إحصائية مع شروح ذهبية ولكن ليس نفسها بالضبط. ومع ذلك، فإننا نفتقر حاليا إلى طريقة مبدئية لقياس فوائد هذه الإشارات إلى مهمة مستهدفة معينة، والممارسة المشتركة لتقييم هذه الفوائد هي من خلال تجارب شاملة مع نماذج مختلفة وليفرتات. تدرس هذه الورقة ما إذا كان بإمكاننا ذلك، * في إطار واحد، حدد فوائد أنواع مختلفة من الإشارات العرضية لمهمة مستهدحة معينة دون ممارسة التجارب بين التجديف *. نقترح نقلا عن تدبير المعلومات الدوافع PAC-Bayesian الموحدة، PABI، الذي يميز الحد من عدم اليقين المنصوص عليه من إشارات الإشراف العرضي. نوضح فعالية PABI عن طريق تحديد القيمة المضافة من قبل أنواع مختلفة من الإشارات العرضية إلى مهام علامات التسلسل. تشير التجارب على التعرف على الكيان المسمى (NER) وإجابة السؤال (QA) أن تنبؤات Pabi ترتبط بشكل جيد مع أداء التعلم، مما يوفر طريقة واعدة لتحديد، قبل التعلم، التي ستكون إشارات الإشراف مفيدة.

Real-world applications often require improved models by leveraging *a range of cheap incidental supervision signals*. These could include partial labels, noisy labels, knowledge-based constraints, and cross-domain or cross-task annotations -- all having statistical associations with gold annotations but not exactly the same. However, we currently lack a principled way to measure the benefits of these signals to a given target task, and the common practice of evaluating these benefits is through exhaustive experiments with various models and hyperparameters. This paper studies whether we can, *in a single framework, quantify the benefits of various types of incidental signals for a given target task without going through combinatorial experiments*. We propose a unified PAC-Bayesian motivated informativeness measure, PABI, that characterizes the uncertainty reduction provided by incidental supervision signals. We demonstrate PABI's effectiveness by quantifying the value added by various types of incidental signals to sequence tagging tasks. Experiments on named entity recognition (NER) and question answering (QA) show that PABI's predictions correlate well with learning performance, providing a promising way to determine, ahead of learning, which supervision signals would be beneficial.