تأخذ هذه الورقة خطوة أولى نحو مناهج تفكير حرجة لنماذج اللغة التراجعية العصبية. نقدم لجنة اصطناعية من الحجج الصالحة تخصيصها، وتوليد نصوص جدلية اصطناعية لتدريب CRPIPT: محول تفكير حرج مدرب مسبقا مسبقا على أساس GPT-2. يمكن ملاحظة تأثيرات تعليمية نقل كبير
ة: مدربة على ثلاث مخططات أساسية بسيطة، يكمل CRIPT بدقة استنتاجات مختلفة من أنواع الحجج المختلفة والمزيد. تعميم CRIPT مع مخططات الوسيطة الأساسية بطريقة صحيحة. علاوة على ذلك، نحصل على نتائج متسقة واعدة لمعايير NLU. على وجه الخصوص، تتجاوز دقة Cript الصفرية في تشخيص الغراء أداء GPT-2 بنسبة 15 نقطة مئوية. تشير النتائج إلى أن التدريب المسترد الوسيط على النصوص التي تجسد قدرات التفكير الأساسي (مثل مغطاة عادة في كتب التفكير الناقد) قد تساعد نماذج اللغة للحصول على مجموعة واسعة من مهارات المنطق. النصوص المنحجية الاصطناعية المقدمة في هذه الورقة هي نقطة انطلاق واعدة لبناء مناهج التفكير النقدي لنماذج اللغة. "
خط البحث الناشئ في NLP التفسير هو إنشاء مجموعات البيانات المخصبة بالتفسيرات والمنظمات المشروح البشرية، وتستخدم لبناء وتقييم النماذج مع الاستدلال والخطوة الحكيمة وإمكانيات توليد التفسير. في حين أن التفسيرات المشروح البشرية تستخدم كحقيقة أرضية للاستدلا
ل، فهناك نقص في التقييم المنهجي للاتساق والضيق. في محاولة لتقديم تقييم جودة حرج لمعايير الذهب التفسير (XGSS) ل NLI، نقترح المنهجية التوضيحية المنهجية، المسمى التحقق من التفسير التسليم (EEV)، لتحديد الصلاحية المنطقية للتفسيرات المشروح البشرية. يكشف تطبيق EEEV على ثلاث مجموعات بيانات سائدة عن الاستنتاج المثير للدهشة بأن غالبية التفسيرات، أثناء ظهورها متماسكة على السطح، تمثل حجج غير صالحة منطقي، تتراوح من عدم اكتمالها لتحتوي على أخطاء منطقية يمكن تحديدها بوضوح. تؤكد هذا الاستنتاج أن الخصائص الاستنتاجية للتفسيرات لا تزال ضعيفة بشكل سيء وفهم، وأن العمل الإضافي على هذا البحث من الضروري لتحسين طريقة بناء معايير الذهب التفسير.
