نماذج لغة إزالة السموم مخاطر تهميش أصوات الأقلية

يجب أن تكون نماذج اللغة (LMS) آمنة وعادلة أن تكون مرتدة في الممارسة العملية.مع مراعاة السلامة، تم اقتراح العديد من تقنيات إزالة السموم (E.G.، Dathathri et al. 2020؛ Krause et al. 2020) تخفيف أجيال LM السامة.في هذا العمل، نظير على أن تقنيات إزالة السموم هذه تؤذي الأسهم: أنها تقلل من فائدة LMS على اللغة التي تستخدمها المجموعات المهمشة (على سبيل المثال، إن العربية الأفريقية الأمريكية وهوية الهوية الأقلية).على وجه الخصوص، نقوم بتنفيذ التقييمات التلقائية والإنسانية لجودة جيل النص عندما تكون LMS مشروطة على المدخلات مع لهجات مختلفة ومعرفات المجموعة.نجد أن إزالة السموم يجعل LMS أكثر هشة من تحول التوزيع، خاصة في اللغة التي تستخدمها المجموعات المهمشة.نحدد أن هذه الإخفاقات تنبع من أساليب إزالة السموم التي تستغل ارتباطات زائفة في مجموعات بيانات السمية.بشكل عام، تسلط نتائجنا الضوء على التوتر بين إمكانية التحكم والموازنة التوزيعية ل LMS.

Language models (LMs) must be both safe and equitable to be responsibly deployed in practice. With safety in mind, numerous detoxification techniques (e.g., Dathathri et al. 2020; Krause et al. 2020) have been proposed to mitigate toxic LM generations. In this work, we show that these detoxification techniques hurt equity: they decrease the utility of LMs on language used by marginalized groups (e.g., African-American English and minority identity mentions). In particular, we perform automatic and human evaluations of text generation quality when LMs are conditioned on inputs with different dialects and group identifiers. We find that detoxification makes LMs more brittle to distribution shift, especially on language used by marginalized groups. We identify that these failures stem from detoxification methods exploiting spurious correlations in toxicity datasets. Overall, our results highlight the tension between the controllability and distributional robustness of LMs.