Deventangling Secornangling ديناميكيا من التمثيلات الموجهة نحو المهام مع هجوم الخصم

يستخدم تعليم التمثيل على نطاق واسع في NLP لمجموعة واسعة من المهام.ومع ذلك، غالبا ما تعكس التمثيلات المستمدة من Text Corpora التحيزات الاجتماعية.هذه الظاهرة منتشرة ومتسقة عبر نماذج عصبية مختلفة، مما تسبب في قلق شديد.تعتمد الأساليب السابقة في الغالب على اتجاه محدد مسبقا أو مقدم من المستخدم أو يعاني من التدريب غير المستقر.في هذه الورقة، نقترح نموذجا للدوائر المنفذة من الخصومة إلى Decouple Decouple Socied Socials من التمثيلات المتوسطة المدربة على المهمة الرئيسية.نحن نهدف إلى Denoise معلومات التحيز أثناء التدريب على مهمة المصب، بدلا من إزالة التحيز الاجتماعي ومتابعة التمثيلات غير المتحيزة الثابتة.تظهر التجارب فعالية طريقتنا، سواء على تأثير الدخل وأداء المهمة الرئيسية.

Representation learning is widely used in NLP for a vast range of tasks. However, representations derived from text corpora often reflect social biases. This phenomenon is pervasive and consistent across different neural models, causing serious concern. Previous methods mostly rely on a pre-specified, user-provided direction or suffer from unstable training. In this paper, we propose an adversarial disentangled debiasing model to dynamically decouple social bias attributes from the intermediate representations trained on the main task. We aim to denoise bias information while training on the downstream task, rather than completely remove social bias and pursue static unbiased representations. Experiments show the effectiveness of our method, both on the effect of debiasing and the main task performance.