اختلاف النموذج البشري في التعامل مع الغموض

في حين أن مقاييس الأداء الكلية يمكن أن تولد رؤى قيمة على نطاق واسع، إلا أن هيمنتها تعني ظاهرة أكثر تعقيدا وشغنا، مثل الغموض، قد يتم التغاضي عنها.التركيز على الشروط الغامضة (على سبيل المثال مشمس، غائم، شاب، إلخ) نحن تفحص سلوك النماذج المدرجة بشكل مريئي والنصوص فقط، وإيجاد الاختلافات المنهجية من الأحكام الإنسانية حتى عندما يكون الأداء العام للنموذج مرتفعا.للمساعدة في تفسير هذا التباين، نحدد افتراضين أدلى به مجموعات البيانات والنماذج التي تم فحصها، وتسترشد بفلسفة الغموض، عزل الحالات التي لا تعقد فيها.

While aggregate performance metrics can generate valuable insights at a large scale, their dominance means more complex and nuanced language phenomena, such as vagueness, may be overlooked. Focusing on vague terms (e.g. sunny, cloudy, young, etc.) we inspect the behavior of visually grounded and text-only models, finding systematic divergences from human judgments even when a model's overall performance is high. To help explain this disparity, we identify two assumptions made by the datasets and models examined and, guided by the philosophy of vagueness, isolate cases where they do not hold.