على الرغم من التطورات الحديثة في الدور الدوالي الذي يدفعه ترميز النص المدرب مسبقا مثل بيرت، فإن الأداء يتخلف عند تطبيقه على المسندات لاحظ بشكل غير منتظم أثناء التدريب أو إلى الجمل في مجالات جديدة. في هذا العمل، يمكننا التحقيق في كيفية تحسين أداء وضع
العلامات على الدوران المنخفض التردد والبيانات خارج نطاق البيانات باستخدام Verbnet، معجم فعل يضم الأفعال إلى فئات هرمية تستند إلى سلوك النحوية والدلية المشتركة وتحدد التمثيل الدلالي وصف العلاقات بين الحجج. نجد أن فئات Verbnet توفر مستوى فعال من التجريد، وتحسين التعميم على المساكن المنخفض التردد من خلال السماح لهم بالتعلم من الأمثلة التدريبية للندوات الأخرى المنتمدة إلى نفس الفصل. نجد أيضا أن التدريب المشترك لعلامات الدور الحرفية والأزهار المسند للفئات الحرفية للأفعال البسيطة يؤدي إلى تحسينات في كلا المهام، مما يدعم بشكل طبيعي استخراج التمثيلات الدلالية في فيربيت.
تأخذ هذه الورقة خطوة أولى نحو مناهج تفكير حرجة لنماذج اللغة التراجعية العصبية. نقدم لجنة اصطناعية من الحجج الصالحة تخصيصها، وتوليد نصوص جدلية اصطناعية لتدريب CRPIPT: محول تفكير حرج مدرب مسبقا مسبقا على أساس GPT-2. يمكن ملاحظة تأثيرات تعليمية نقل كبير
ة: مدربة على ثلاث مخططات أساسية بسيطة، يكمل CRIPT بدقة استنتاجات مختلفة من أنواع الحجج المختلفة والمزيد. تعميم CRIPT مع مخططات الوسيطة الأساسية بطريقة صحيحة. علاوة على ذلك، نحصل على نتائج متسقة واعدة لمعايير NLU. على وجه الخصوص، تتجاوز دقة Cript الصفرية في تشخيص الغراء أداء GPT-2 بنسبة 15 نقطة مئوية. تشير النتائج إلى أن التدريب المسترد الوسيط على النصوص التي تجسد قدرات التفكير الأساسي (مثل مغطاة عادة في كتب التفكير الناقد) قد تساعد نماذج اللغة للحصول على مجموعة واسعة من مهارات المنطق. النصوص المنحجية الاصطناعية المقدمة في هذه الورقة هي نقطة انطلاق واعدة لبناء مناهج التفكير النقدي لنماذج اللغة. "
