NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance

تمنح نماذج اللغة العصبية المدربة مسبقا أداء عال في مهام الاستدلال اللغوي (NLI).ولكن ما إذا كانوا يفهمون فعلا معنى التسلسلات المصنعة لا يزال غير واضح.نقترح جناح اختبار التشخيص الجديد الذي يسمح بتقييم ما إذا كانت مجموعة البيانات تشكل اختبارا جيدا لتقييم النماذج معنى فهم القدرات.نحن على وجه التحديد تطبيق تحويلات الفساد التي تسيطر عليها إلى المعايير المستخدمة على نطاق واسع (MNLI و Anli)، والتي تنطوي على إزالة فئات الكلمات بأكملها وغالبا ما تؤدي إلى أزواج الجملة غير الحسية.إذا ظلت دقة النموذجية على البيانات التالفة مرتفعة، فمن المحتمل أن تحتوي مجموعة البيانات على تحيزات إحصائية ومصنوعات تصريفات توقع التنبؤ.عكسيا، يشير انخفاض كبير في الدقة النموذجية إلى أن مجموعة البيانات الأصلية توفر تحديا صحيحا لقدرات منطق النماذج.وبالتالي، يمكن أن تكون عناصر التحكم المقترحة لدينا بمثابة اختبار تحطم لتطوير بيانات عالية الجودة لمهام NLI.

Pre-trained neural language models give high performance on natural language inference (NLI) tasks. But whether they actually understand the meaning of the processed sequences is still unclear. We propose a new diagnostics test suite which allows to assess whether a dataset constitutes a good testbed for evaluating the models' meaning understanding capabilities. We specifically apply controlled corruption transformations to widely used benchmarks (MNLI and ANLI), which involve removing entire word classes and often lead to non-sensical sentence pairs. If model accuracy on the corrupted data remains high, then the dataset is likely to contain statistical biases and artefacts that guide prediction. Inversely, a large decrease in model accuracy indicates that the original dataset provides a proper challenge to the models' reasoning capabilities. Hence, our proposed controls can serve as a crash test for developing high quality data for NLI tasks.