نظرة عامة على الإنصاف في البيانات - إلقاء الضوء على التحيز في خط أنابيب البيانات

البيانات بشكل عام ترميز التحيزات البشرية بشكل افتراضي؛ إن إدراك هذه بداية جيدة، والبحث حول كيفية التعامل معها مستمر. يتم استخدام مصطلح التحيز على نطاق واسع في سياقات مختلفة في أنظمة NLP. في بحثنا، يكون التركيز محددا للتحيزات مثل النوع الاجتماعي والعنصرية والدين والوجهات الديمغرافية وغيرها من الآراء عند التحيزات التي تسود في أنظمة معالجة النصوص مسؤولة عن تمييز السكان المحددين بشكل منهجي، وهي ليست أخلاقية في NLP. تؤدي هذه التحيزات إلى تفاقم عدم المساواة والتنوع وإدراج السكان المحددين أثناء الاستفادة من تطبيقات NLP. تستخدم الأدوات والتكنولوجيا على المستوى المتوسط ​​بيانات متحيزة، ونقل أو تضخيم هذا التحيز إلى تطبيقات المصب. ومع ذلك، لا يكفي أن تكون كافية، محايدة بين الجنسين وحدها عند تصميم تكنولوجيا غير متحيزة - بدلا من ذلك، يجب أن نأخذ جهدا واعيا من خلال تصميم إطار موحد لقياس وتحيز التحيز. في هذه الورقة، نوصي بستة تدابير وقياس زيادة واحدة بناء على ملاحظات التحيز في البيانات والشروح والتمثيلات النصية وتقنيات الدخل.

Data in general encodes human biases by default; being aware of this is a good start, and the research around how to handle it is ongoing. The term bias' is extensively used in various contexts in NLP systems. In our research the focus is specific to biases such as gender, racism, religion, demographic and other intersectional views on biases that prevail in text processing systems responsible for systematically discriminating specific population, which is not ethical in NLP. These biases exacerbate the lack of equality, diversity and inclusion of specific population while utilizing the NLP applications. The tools and technology at the intermediate level utilize biased data, and transfer or amplify this bias to the downstream applications. However, it is not enough to be colourblind, gender-neutral alone when designing a unbiased technology -- instead, we should take a conscious effort by designing a unified framework to measure and benchmark the bias. In this paper, we recommend six measures and one augment measure based on the observations of the bias in data, annotations, text representations and debiasing techniques.