تخفيف التحيز العرقي الذي تعتمد على اللغة في بيرت

في هذه الورقة، ندرس التحيز العرقي وكيف يختلف عبر اللغات عن طريق تحليل التحيز الإثني والتخفيف من التحيز الإثني في بيرت أحادي اللغة الإنجليزية والألمانية والإسبانية والكورية والتركية والصينية.لاحظ وتحديد التحيز العرقي، ونحن نطور مترا مربعا يسمى درجة التحيز الفئرانية.ثم نقترح طريقتين للتخفيف؛أولا باستخدام نموذج متعدد اللغات، والثاني باستخدام محاذاة الكلمات السياقية من نماذج أحادية.قارن أساليبنا المقترحة مع بيرت أحادي الأجل وإظهار أن هذه الأساليب تخفف بشكل فعال التحيز العرقي.أي من الطريقتين يعملان بشكل أفضل يعتمد على مقدار موارد NLP المتاحة لهذه اللغة.نحن بالإضافة إلى تجربة اللغة العربية واليونانية للتحقق من أن أساليبنا المقترحة تعمل من أجل مجموعة متنوعة واسعة من اللغات.

فرك الخصم من المعلومات الديموغرافية لتصنيف النص

يمكن للتمثيلات السياقية المستفادة من طرازات اللغة غالبا ما ترميز سمات غير مرغوب فيها، مثل الجمعيات الديموغرافية للمستخدمين، أثناء التدريب على المهمة المستهدفة غير المرتبطة.نحن نهدف إلى فرك هذه السمات غير المرغوب فيها وتعلم التمثيلات العادلة مع الحفاظ على الأداء في المهمة المستهدفة.في هذه الورقة، نقدم إطارية تعليمية مخدمية، (ADS)، لتمثيلات ديبيا السياقية.نقوم بإجراء التحليل النظري لإظهار أن إطار العمل لدينا يتقوم دون تسريب المعلومات الديموغرافية في ظل ظروف معينة.نقوم بتوسيع تقنيات التقييم السابقة من خلال تقييم أداء DeviAsing باستخدام الحد الأدنى من التحقيق في الوصف (MDL).تظهر التقييمات التجريبية على 8 مجموعات البيانات أن الإعلانات تنشئ تمثيلات مع الحد الأدنى من المعلومات حول السمات الديموغرافية أثناء كونها بالتفكيك في الحد الأقصى حول المهمة المستهدفة.