التعلم النقيض القائم على الانتباه لمخططات Winograd

اجتذبت التعلم الذاتي الإشراف مؤخرا اهتماما كبيرا في مجتمع NLP لقدرته على تعلم الميزات التمييزية باستخدام هدف بسيط.تحقق هذه الورقة التي تحقق ما إذا كان التعلم مناقصة يمكن تمديده لإيلاء اهتمام Transfomer لمعالجة تحدي مخطط Winograd.تحقيقا لهذه الغاية، نقترح إطارا جديدا للإشراف على الذات، حيث يستحق خسارة صغيرة مباشرة على مستوى اهتمام الذات.يوضح التحليل التجريبي للنماذج التي تعتمد انتباهنا على مجموعات بيانات متعددة إمكانيات التفكير في المنطقية.يتفوق النهج المقترح على جميع النهج القابلة للمقارنة غير الخاضعة للرقابة مع تجاوز الأشرار في بعض الأحيان.

Self-supervised learning has recently attracted considerable attention in the NLP community for its ability to learn discriminative features using a contrastive objective. This paper investigates whether contrastive learning can be extended to Transfomer attention to tackling the Winograd Schema Challenge. To this end, we propose a novel self-supervised framework, leveraging a contrastive loss directly at the level of self-attention. Experimental analysis of our attention-based models on multiple datasets demonstrates superior commonsense reasoning capabilities. The proposed approach outperforms all comparable unsupervised approaches while occasionally surpassing supervised ones.