وقد تبين أن نماذج اللغة ذات الضبط بذاتها أن تظهر تحيزات ضد المجموعات المحمية في مجموعة من مهام النمذجة مثل تصنيف النص ودقة Aqueference. تركز الأشغال السابقة على اكتشاف هذه التحيزات، وتقليل التحيز في تمثيلات البيانات، واستخدام أهداف التدريب الإضافية لتخفيف التحيز أثناء الضبط بشكل جيد. على الرغم من أن هذه التقنيات تحقق تخفيض التحيز للمهمة والمجال في متناول اليد، إلا أن آثار تخفيف التحيز قد لا ينقل بشكل مباشر إلى مهام جديدة، مما يتطلب جمع بيانات إضافية وشروح تخصيصا للسمات الحساسة، وإعادة تقييم مقاييس الإنصاف المناسبة. نستكشف من جدوى وفوائد تخفيف التحيز المنبع (UBM) لتقليل التحيز حول مهام المصب، من خلال تطبيق تخفيف التحيز الأول لأول مرة إلى نموذج Upstream من خلال الضبط الجميل وبعد ذلك باستخدامه للضبط الناعم المصب. نجد، في تجارب واسعة عبر تكشف عن الكلام الكراهية، وكشف السمية ومهام القرار الأساسية حول عوامل التحذير المختلفة، أن آثار UPM قابلة للتحويل بالفعل إلى مهام أو مجالات جديدة للملاعب الجديدة من خلال ضبط نماذج دقيقة، مما يخلق نماذج أقل منحازة من النماذج بشكل مباشر ضبط المهمة المصب أو نقل من نموذج الفانيليا المنبع. على الرغم من أن التحديات تبقى، إلا أننا نوضح أن UBM يعد بتخفيف التحيز أكثر كفاءة ويمكن الوصول إليها في LM Fine-Tuning.