في هذا العمل، نستكشف تأثير دمج البيانات الوصفية الديموغرافية في نصوص نصية مدربة على رأس نموذج لغة محول مدرب مسبقا. وبشكل أكثر تحديدا، نضيف معلومات حول جنس النقاد ومؤلفي الكتاب عند تصنيف قطبية مراجعات الكتب، وقطبية الاستعراضات عند تصنيف الجنسين من المؤلفين والنقاد. نحن نستخدم مجموعة بيانات موجودة من مراجعات الكتاب النرويجية من خلال تقييمات من قبل النقاد المحترفين، والتي عززت أيضا مع المعلومات الجنسانية، وتدريب مصنف معنويات على مستوى المستند أعلى نموذج برت النرويجي الذي تم إصداره مؤخرا. نظهر أن النماذج المستنيرة بين الجنسين تحصل على دقة أعلى إلى حد كبير، وأن النماذج المستنيرة بالقطبية تحصل على دقة أعلى عند تصنيف جندات مؤلفي الكتاب. بالنسبة إلى مجموعة البيانات الخاصة بهذه الطريقة، نأخذ هذه النتيجة تأكيدا بتحيز بين الجنسين في توزيع الملصقات الأساسية، ولكن في أوائل أخرى نعتقد أنه يمكن استخدام نهج مماثل لتخفيف التحيز في النموذج.
In this work we explore the effect of incorporating demographic metadata in a text classifier trained on top of a pre-trained transformer language model. More specifically, we add information about the gender of critics and book authors when classifying the polarity of book reviews, and the polarity of the reviews when classifying the genders of authors and critics. We use an existing data set of Norwegian book reviews with ratings by professional critics, which has also been augmented with gender information, and train a document-level sentiment classifier on top of a recently released Norwegian BERT-model. We show that gender-informed models obtain substantially higher accuracy, and that polarity-informed models obtain higher accuracy when classifying the genders of book authors. For this particular data set, we take this result as a confirmation of the gender bias in the underlying label distribution, but in other settings we believe a similar approach can be used for mitigating bias in the model.
References used
https://aclanthology.org/
Gender inequality represents a considerable loss of human potential and perpetuates a culture of violence, higher gender wage gaps, and a lack of representation of women in higher and leadership positions. Applications powered by Artificial Intellige
With language models being deployed increasingly in the real world, it is essential to address the issue of the fairness of their outputs. The word embedding representations of these language models often implicitly draw unwanted associations that fo
Natural Language Processing (NLP) systems are at the heart of many critical automated decision-making systems making crucial recommendations about our future world. Gender bias in NLP has been well studied in English, but has been less studied in oth
Internet search affects people's cognition of the world, so mitigating biases in search results and learning fair models is imperative for social good. We study a unique gender bias in image search in this work: the search images are often gender-imb
Potential gender biases existing in Wikipedia's content can contribute to biased behaviors in a variety of downstream NLP systems. Yet, efforts in understanding what inequalities in portraying women and men occur in Wikipedia focused so far only on *