Order Order WinoBias (Sowinobias) مجموعة اختبار للكشف عن التحيز الجنساني الكامن في حل السلاسة

نلاحظ مثالا على التحيز المستحث بين الجنسين في تطبيق في النهر، على الرغم من عدم وجود كلمات جنسانية صريحة في حالات الاختبار.نحن نقدم مجموعة اختبار، Sowinobias، لغرض قياس مثل هذه التحيز الجنساني الكامن في أنظمة حل السلاسة.نقيم أداء أساليب الدخل الحالية على مجموعة اختبار Sowinobias، خاصة في إشارة إلى تصميم الطريقة وتغيير خصائص مساحة التضمين.انظر https://github.com/hillary-dawkins/sowinobias.

We observe an instance of gender-induced bias in a downstream application, despite the absence of explicit gender words in the test cases. We provide a test set, SoWinoBias, for the purpose of measuring such latent gender bias in coreference resolution systems. We evaluate the performance of current debiasing methods on the SoWinoBias test set, especially in reference to the method's design and altered embedding space properties. See https://github.com/hillary-dawkins/SoWinoBias.