تدابير السيكومترية للقدرة والمواقف والتصورات والمعتقدات أمر حاسم لفهم سلوك المستخدم في سياقات مختلفة بما في ذلك الصحة والأمن والتجارة الإلكترونية والتمويل. تقليديا، تم قياس الأبعاد السيكومترية وجمعها باستخدام الأساليب المستندة إلى المسح. استنتاج مثل
هذه البنيات من النص الذي تم إنشاؤه من قبل المستخدم قد يسمح بجمع وتحليلات غير مزعجة في الوقت المناسب. في هذه الورقة، نقوم ببذل جهودنا لبناء كوربوس لمعالجة اللغة الطبيعية السيكومترية (NLP) المتعلقة بالأبعاد الهامة مثل الثقة والقلق والحساب ومحو الأمية، في مجال الصحة. نناقش عملية لدينا متعددة الخطوات لمحاذاة نص المستخدم بنود الاستجابة المستندة إلى المسح وتوفير نظرة عامة على الاختبار الناتج والتي تشمل التدابير النفسية القائمة على المسح والاستطلاع على النص الذي تم إنشاؤه من قبل المستخدم من 8،502 المساواة. يشمل TestBed أيضا معلومات سكانية تم الإبلاغ عنها ذاتيا، بما في ذلك العرق والجنس والعمر والدخل والتعليم - مما يوفر فرصا لقياس التحيز وأساليب تصنيف النص. نبلغ عن نتائج أولية عن استخدام النص للتنبؤ / تصنيف تسميات استجابة المسح للمستخدمين - وعلى مدى نزاهة هذه النماذج. ونناقش أيضا الآثار المهمة لعملنا ونتيجة إلى اختبار بحث NLP في المستقبل بشأن الحروض النفسية والإنصاف.
دعا النجاح الأخير لنماذج اللغة العصبية (NLMS) على تحدي مخطط Winograd إلى مزيد من التحقيق في قدرة المنطق المنطقي لهذه النماذج. تعتمد مجموعات البيانات التشخيصية السابقة على مصادر الحشد التي تفشل في توفير أمر مناسب متماسك لحل مشاكل WSC. لتحسين تقييم NLM
S بشكل أفضل، نقترح إطارا يستند إلى المنطق يركز على معرفة المناخية عالية الجودة. على وجه التحديد، نقوم بتحديد وجمع صيغ المعرفة الرسمية التي تم التحقق منها بواسطة Theorem Brovers وترجمة هذه الصيغ إلى جمل لغة طبيعية. بناء على جمل المعرفة الحقيقية هذه، يتم إنشاء تلك الخوذة الخاطئة. نقترح مجموعة بيانات جديدة تسمى Winologic مع هذه الجمل. نظرا لمشكلة Winologic، تحتاج NLMS إلى تحديد ما إذا كانت جمل المعرفة المعقولة يمكن أن تحل مشاكل WSC المقابلة بشكل صحيح في إعداد طلقة صفرية. نطلب أيضا عن النذوي البشري للتحقق من صحة نولولوجية لضمان أن يكون مقبول من الإنسان. تشير التجارب إلى أن NLMS ما زالت تكافح لفهم معرفة المنظمات كإنسان، مما يشير إلى المبالغة في تقدير قدرتهم في التفكير.
