تحديد التحيزات الاجتماعية في NLP: تعميم ومقارنة تجريبية لمقاييس الإنصاف الخارجي

تحيز قياس التجريدي هو المفتاح لفهم أفضل ومعالجة الظلم في نماذج NLP / ML.غالبا ما يتم ذلك عبر مقاييس الإنصاف، مما يحدد الاختلافات في سلوك النموذج عبر مجموعة من المجموعات الديموغرافية.في هذا العمل، ألقينا المزيد من الضوء على الاختلافات وتشابه التشابه بين مقاييس الإنصاف المستخدمة في NLP.أولا، نقوم بتوحيد مجموعة واسعة من المقاييس الموجودة بموجب ثلاثة مقاييس المعرفة المعممة، وكشف عن الاتصالات بينهما.بعد ذلك، نقوم بإجراء مقارنة تجريبية واسعة النطاق للمقاييس الموجودة وإظهار أن الاختلافات المرصودة في قياس التحيز يمكن تفسيرها بشكل منهجي عبر الاختلافات في خيارات المعلمات لمقاييسنا المعمم.

Abstract Measuring bias is key for better understanding and addressing unfairness in NLP/ML models. This is often done via fairness metrics, which quantify the differences in a model's behaviour across a range of demographic groups. In this work, we shed more light on the differences and similarities between the fairness metrics used in NLP. First, we unify a broad range of existing metrics under three generalized fairness metrics, revealing the connections between them. Next, we carry out an extensive empirical comparison of existing metrics and demonstrate that the observed differences in bias measurement can be systematically explained via differences in parameter choices for our generalized metrics.