حقق نماذج اللغة المدربة مسبقا بشكل جيد (LMS) نجاحا هائلا في العديد من مهام معالجة اللغة الطبيعية (NLP)، لكنها لا تزال تتطلب بيانات مفرطة الحجم في مرحلة ضبط الدقيقة. ندرس مشكلة LMS المدبرة مسبقا باستخدام إشراف ضعيف فقط، دون أي بيانات معدنية. هذه المشكلة تحديا لأن قدرة LMS عالية تجعلها عرضة للاحتفاظ بالملصقات الصاخبة الناتجة عن إشراف ضعيف. لمعالجة هذه المشكلة، نحن نطور إطارا للتدريب الذاتي للتناقض، جيب التمام، لتمكين LMS الرصيف مع إشراف ضعيف. تدعمه التنظيم البسيط والنعيد القائم على الثقة، فإن إطار عملائنا يحسن تدريجيا من تركيب النموذج مع قمع انتشار الأخطاء بشكل فعال. تشير التجارب على التسلسل، الرمز المميز، ومهام تصنيف زوج الزوج الحكم إلى أن نموذجنا يتفوق على أقوى خط أساس عن طريق الهوامش الكبيرة وتحقق أداء تنافسي مع أساليب ضبط صاخبة بالكامل. تنفيذنا متاح على https://github.com/yueyu1030/cosine.
Fine-tuned pre-trained language models (LMs) have achieved enormous success in many natural language processing (NLP) tasks, but they still require excessive labeled data in the fine-tuning stage. We study the problem of fine-tuning pre-trained LMs using only weak supervision, without any labeled data. This problem is challenging because the high capacity of LMs makes them prone to overfitting the noisy labels generated by weak supervision. To address this problem, we develop a contrastive self-training framework, COSINE, to enable fine-tuning LMs with weak supervision. Underpinned by contrastive regularization and confidence-based reweighting, our framework gradually improves model fitting while effectively suppressing error propagation. Experiments on sequence, token, and sentence pair classification tasks show that our model outperforms the strongest baseline by large margins and achieves competitive performance with fully-supervised fine-tuning methods. Our implementation is available on https://github.com/yueyu1030/COSINE.
المراجع المستخدمة
https://aclanthology.org/
تتطلب شبكات العصبية العميقة الحديثة من بين الفن بيانات تدريبية ذات صلة واسعة النطاق غالبا ما تكون مكلفة للحصول على أو غير متوفرة للعديد من المهام. لقد ثبت أن الإشراف ضعيف في شكل قواعد خاصة بالمجال مفيدا في مثل هذه الإعدادات لإنشاء بيانات التدريب المس
يتعين على نماذج اللغة المدربة مسبقا (PRLM) لإدارة وحدات الإدخال بعناية عند التدريب على نص كبير جدا مع مفردات تتكون من ملايين الكلمات. أظهرت الأعمال السابقة أن دمج معلومات المسيح على مستوى الأمان بشأن الكلمات المتتالية في التدريب المسبق يمكن أن تحسن أ
حققت نماذج اللغة المدربة مسبقا (PLMS) مثل بيرت تقدما كبيرا في NLP. عادة ما تحتوي المقالات الإخبارية على معلومات نصية غنية، ويحتوي plms على إمكانات تعزيز نمذجة نص الأخبار لمختلف تطبيقات الأخبار الذكية مثل التوصية الإخبارية واسترجاعها. ومع ذلك، فإن معظ
لا يمكن أن تلتقط نماذج تمثيل اللغة المدربة مسبقا مجردة مسبقا (PLMS) بشكل جيد معرفة واقعية من النص. في المقابل، يمكن أن تمثل طرق تضمين المعرفة (KE) بشكل فعال الحقائق العلائقية في الرسوم البيانية المعرفة (KGS) مع تضمينات كيانات مفيدة، لكن نماذج كيد الت
الاستعارات في كل مكان في اللغة الطبيعية، ويتطلب الكشف عنها منطق سياقي حول ما إذا كان التعارض الدلالي موجود بالفعل.معظم العمل الحالي يعالج هذه المشكلة باستخدام نماذج السياق المدربة مسبقا.على الرغم من نجاحها، تتطلب هذه النماذج كمية كبيرة من البيانات ال