فرك الخصم من المعلومات الديموغرافية لتصنيف النص

يمكن للتمثيلات السياقية المستفادة من طرازات اللغة غالبا ما ترميز سمات غير مرغوب فيها، مثل الجمعيات الديموغرافية للمستخدمين، أثناء التدريب على المهمة المستهدفة غير المرتبطة.نحن نهدف إلى فرك هذه السمات غير المرغوب فيها وتعلم التمثيلات العادلة مع الحفاظ على الأداء في المهمة المستهدفة.في هذه الورقة، نقدم إطارية تعليمية مخدمية، (ADS)، لتمثيلات ديبيا السياقية.نقوم بإجراء التحليل النظري لإظهار أن إطار العمل لدينا يتقوم دون تسريب المعلومات الديموغرافية في ظل ظروف معينة.نقوم بتوسيع تقنيات التقييم السابقة من خلال تقييم أداء DeviAsing باستخدام الحد الأدنى من التحقيق في الوصف (MDL).تظهر التقييمات التجريبية على 8 مجموعات البيانات أن الإعلانات تنشئ تمثيلات مع الحد الأدنى من المعلومات حول السمات الديموغرافية أثناء كونها بالتفكيك في الحد الأقصى حول المهمة المستهدفة.

Contextual representations learned by language models can often encode undesirable attributes, like demographic associations of the users, while being trained for an unrelated target task. We aim to scrub such undesirable attributes and learn fair representations while maintaining performance on the target task. In this paper, we present an adversarial learning framework Adversarial Scrubber'' (AdS), to debias contextual representations. We perform theoretical analysis to show that our framework converges without leaking demographic information under certain conditions. We extend previous evaluation techniques by evaluating debiasing performance using Minimum Description Length (MDL) probing. Experimental evaluations on 8 datasets show that AdS generates representations with minimal information about demographic attributes while being maximally informative about the target task.