الجنسية في القضاء: أهمية تعريف التحيز في NLP وفي محاكمنا

نحن نحلل 6.7 مليون وثائق قانون القضية لتحديد وجود التحيز بين الجنسين في نظامنا القضائي. نجد أن طرق كشف التحيز الحالية في NLP غير كافية لتحديد التحيز بين الجنسين في قاعدة بيانات القوانين الخاصة بنا واقتراح نهج بديل. نظهر أن النتائج غير المتسقة للخوارزميات الحالية هي عواقب التعريفات غير المتسقة للبحث المسبق للاحماء أنفسهم. تعتمد خوارزميات الكشف عن التحيز على مجموعات من الكلمات لتمثيل التحيز (على سبيل المثال، الراتب، "الوظيفة"، بوس "لتمثيل التوظيف كموضوع متحيز يحتمل على المرأة في نص). ومع ذلك، فإن الطرق التي تبني هذه المجموعات من الكلمات لها عدة نقاط ضعف، في المقام الأول أن قوائم الكلمات تستند إلى حدس الباحثين الخاصة. نقترح طريقتين جديدتين لأتمتة إنشاء قوائم الكلمات لتمثيل التحيزات. نجد أن طرقنا تتفوق على طرق الكشف عن التحيز الحالية NLP الحالية. يحسن أبحاثنا إمكانات تقنية NLP للكشف عن التحيز وتسلط الضوء على التحيزات الجنسانية الموجودة في قانون الحالة المؤثرة. من أجل اختبار أداء طريقة الكشف عن التحيز NLP، نتراجع نتائج التحيز لدينا في حالة القانون ضد بيانات تعداد الولايات المتحدة من مشاركة المرأة في القوى العاملة في المائة عام الماضية.

We analyze 6.7 million case law documents to determine the presence of gender bias within our judicial system. We find that current bias detection methods in NLP are insufficient to determine gender bias in our case law database and propose an alternative approach. We show that existing algorithms' inconsistent results are consequences of prior research's inconsistent definitions of biases themselves. Bias detection algorithms rely on groups of words to represent bias (e.g., salary,' job,' and boss' to represent employment as a potentially biased theme against women in text). However, the methods to build these groups of words have several weaknesses, primarily that the word lists are based on the researchers' own intuitions. We suggest two new methods of automating the creation of word lists to represent biases. We find that our methods outperform current NLP bias detection methods. Our research improves the capabilities of NLP technology to detect bias and highlights gender biases present in influential case law. In order to test our NLP bias detection method's performance, we regress our results of bias in case law against U.S census data of women's participation in the workforce in the last 100 years.