ريكا: تقييم قدرات الاستدلال القوي على أساس البديهيات المنطقية

حققت نماذج اللغة المدربة مسبقا (PTLMS) أداء مثير للإعجاب في معايير استنتاج المنطقية، لكن قدرتها على استخدام المناولة لإستنساخ قوي، وهو أمر ضروري للاتصالات الفعالة مع البشر،. في السعي لتحقيق الاتصالات السائل للاتصالات الإنسانية، نقترح تحديا جديدا، ريكا: الاستدلال القوي باستخدام بديهيات المنطقية، التي تقيم الاستدلال القوي المنزلي على الرغم من الاضطرابات النصية. لتوليد بيانات لهذا التحدي، نقوم بتطوير إجراءات منهجية وقابلة للتطوير باستخدام قواعد المعرفة المنطقية والتحقيق PTLMS عبر إعدادين تقييمين مختلفين. تبين تجارب واسعة النطاق على مجموعات التحقيق التي تم إنشاؤها مع أكثر من 10K عبارات أن ptlms لا تؤدي أفضل من التخمين العشوائي على إعداد اللقطة الصفرية، وتتأثر بشدة بالتحيزات الإحصائية، وهي ليست قوية لهجمات الاضطراب. نجد أيضا أن الضبط الدقيق حول تصريحات مماثلة تقدم مكاسب محدودة، حيث لا تزال PTLMS تفشل في تعميم الاستدلالات غير المرئية. يعرض مؤشرنا الجديد واسع النطاق فجوة كبيرة بين PTLMS وفهم لغة الإنسان ويقدم تحديا جديدا ل PTLMS لإظهار العمولة.

Pre-trained language models (PTLMs) have achieved impressive performance on commonsense inference benchmarks, but their ability to employ commonsense to make robust inferences, which is crucial for effective communications with humans, is debated. In the pursuit of advancing fluid human-AI communication, we propose a new challenge, RICA: Robust Inference using Commonsense Axioms, that evaluates robust commonsense inference despite textual perturbations. To generate data for this challenge, we develop a systematic and scalable procedure using commonsense knowledge bases and probe PTLMs across two different evaluation settings. Extensive experiments on our generated probe sets with more than 10k statements show that PTLMs perform no better than random guessing on the zero-shot setting, are heavily impacted by statistical biases, and are not robust to perturbation attacks. We also find that fine-tuning on similar statements offer limited gains, as PTLMs still fail to generalize to unseen inferences. Our new large-scale benchmark exposes a significant gap between PTLMs and human-level language understanding and offers a new challenge for PTLMs to demonstrate commonsense.