التدريب الذاتي مع ضعف الإشراف

تتطلب شبكات العصبية العميقة الحديثة من بين الفن بيانات تدريبية ذات صلة واسعة النطاق غالبا ما تكون مكلفة للحصول على أو غير متوفرة للعديد من المهام. لقد ثبت أن الإشراف ضعيف في شكل قواعد خاصة بالمجال مفيدا في مثل هذه الإعدادات لإنشاء بيانات التدريب المسمى ضعيف. ومع ذلك، فإن التعلم مع القواعد الضعيفة يتحدى بسبب طبيعته المهمة والصاخبة المتأصلة. تحدي إضافي هو تغطية القاعدة والتداخل، حيث يعتبر العمل المسبق على الإشراف الضعيف فقط الحالات التي تغطيها قواعد ضعيفة، وبالتالي تاركة بيانات قيمة غير مسفدة وراءها. في هذا العمل، نطور إطارا ضعيفا للإشراف (Astra) الذي يرفع جميع البيانات المتاحة لمهمة معينة. تحقيقا لهذه الغاية، نستفيد البيانات الخاصة بمهارات العمل من خلال التدريب الذاتي مع نموذج (الطالب) الذي يعتبر تمثيلات السياق ويتوقع التسميات الزائفة على الحالات التي قد لا تغطيها قواعد ضعيفة. ونحن نضع كذلك شبكة انتباه القاعدة (المعلم) التي تتعلم كيفية إجمالي الملصقات الزائفة الطلابية مع ملصقات القاعدة الضعيفة، مشروطة بإخلاصها والسياق الأساسي للمثيل. أخيرا، نقوم بإنشاء هدف تعليمي شبه إشراف للتدريب المنتهي بالبيانات غير المستمرة والقواعد الخاصة بالمجال، وكمية صغيرة من البيانات المسمى. توضح تجارب واسعة على ستة مجموعات بيانات قياسية لتصنيف النص فعالية نهجنا مع تحسينات كبيرة على خطوط الأساس الحديثة.

State-of-the-art deep neural networks require large-scale labeled training data that is often expensive to obtain or not available for many tasks. Weak supervision in the form of domain-specific rules has been shown to be useful in such settings to automatically generate weakly labeled training data. However, learning with weak rules is challenging due to their inherent heuristic and noisy nature. An additional challenge is rule coverage and overlap, where prior work on weak supervision only considers instances that are covered by weak rules, thus leaving valuable unlabeled data behind. In this work, we develop a weak supervision framework (ASTRA) that leverages all the available data for a given task. To this end, we leverage task-specific unlabeled data through self-training with a model (student) that considers contextualized representations and predicts pseudo-labels for instances that may not be covered by weak rules. We further develop a rule attention network (teacher) that learns how to aggregate student pseudo-labels with weak rule labels, conditioned on their fidelity and the underlying context of an instance. Finally, we construct a semi-supervised learning objective for end-to-end training with unlabeled data, domain-specific rules, and a small amount of labeled data. Extensive experiments on six benchmark datasets for text classification demonstrate the effectiveness of our approach with significant improvements over state-of-the-art baselines.