باستخدام النماذج المستنيرة بين الجنسين وقطبية للتحقيق في التحيز

في هذا العمل، نستكشف تأثير دمج البيانات الوصفية الديموغرافية في نصوص نصية مدربة على رأس نموذج لغة محول مدرب مسبقا. وبشكل أكثر تحديدا، نضيف معلومات حول جنس النقاد ومؤلفي الكتاب عند تصنيف قطبية مراجعات الكتب، وقطبية الاستعراضات عند تصنيف الجنسين من المؤلفين والنقاد. نحن نستخدم مجموعة بيانات موجودة من مراجعات الكتاب النرويجية من خلال تقييمات من قبل النقاد المحترفين، والتي عززت أيضا مع المعلومات الجنسانية، وتدريب مصنف معنويات على مستوى المستند أعلى نموذج برت النرويجي الذي تم إصداره مؤخرا. نظهر أن النماذج المستنيرة بين الجنسين تحصل على دقة أعلى إلى حد كبير، وأن النماذج المستنيرة بالقطبية تحصل على دقة أعلى عند تصنيف جندات مؤلفي الكتاب. بالنسبة إلى مجموعة البيانات الخاصة بهذه الطريقة، نأخذ هذه النتيجة تأكيدا بتحيز بين الجنسين في توزيع الملصقات الأساسية، ولكن في أوائل أخرى نعتقد أنه يمكن استخدام نهج مماثل لتخفيف التحيز في النموذج.

In this work we explore the effect of incorporating demographic metadata in a text classifier trained on top of a pre-trained transformer language model. More specifically, we add information about the gender of critics and book authors when classifying the polarity of book reviews, and the polarity of the reviews when classifying the genders of authors and critics. We use an existing data set of Norwegian book reviews with ratings by professional critics, which has also been augmented with gender information, and train a document-level sentiment classifier on top of a recently released Norwegian BERT-model. We show that gender-informed models obtain substantially higher accuracy, and that polarity-informed models obtain higher accuracy when classifying the genders of book authors. For this particular data set, we take this result as a confirmation of the gender bias in the underlying label distribution, but in other settings we believe a similar approach can be used for mitigating bias in the model.