اجتذبت التعلم الذاتي الإشراف مؤخرا اهتماما كبيرا في مجتمع NLP لقدرته على تعلم الميزات التمييزية باستخدام هدف بسيط.تحقق هذه الورقة التي تحقق ما إذا كان التعلم مناقصة يمكن تمديده لإيلاء اهتمام Transfomer لمعالجة تحدي مخطط Winograd.تحقيقا لهذه الغاية، ن
قترح إطارا جديدا للإشراف على الذات، حيث يستحق خسارة صغيرة مباشرة على مستوى اهتمام الذات.يوضح التحليل التجريبي للنماذج التي تعتمد انتباهنا على مجموعات بيانات متعددة إمكانيات التفكير في المنطقية.يتفوق النهج المقترح على جميع النهج القابلة للمقارنة غير الخاضعة للرقابة مع تجاوز الأشرار في بعض الأحيان.
يعاني تلخيص الحوار المبشور من وجود الكثير من الأخطاء الواقعية، والتي من المقرر أن تكون عناصر بارزة متناثرة في عملية تفاعل المعلومات متعددة المتكلم.في هذا العمل، نقوم بتصميم رسم بياني من الدلالات غير المتجانس مع قناع على مستوى الفتحات اعتقاديا لتعزيز
ميزات الفتحة للحصول على ملخص أكثر صحة.نقترح أيضا خوارزمية البحث عن شعاع الدفع في عملية فك التشفير لإعطاء الأولوية لتوليد العناصر البارزة في طول محدود عن طريق ملء الفراغات ".علاوة على ذلك، يتم تقديم التعلم المتعرج المعزلي الذي يساعد عملية التدريب في عملية التدريب على تحيز التعرض.يؤدي الأداء التجريبي على أنواع مختلفة من الأخطاء الواقعية فعالية أساليبنا والتقييم البشري يتحقق من النتائج.
