نماذج لغة إزالة السموم مخاطر تهميش أصوات الأقلية

يجب أن تكون نماذج اللغة (LMS) آمنة وعادلة أن تكون مرتدة في الممارسة العملية.مع مراعاة السلامة، تم اقتراح العديد من تقنيات إزالة السموم (E.G.، Dathathri et al. 2020؛ Krause et al. 2020) تخفيف أجيال LM السامة.في هذا العمل، نظير على أن تقنيات إزالة السموم هذه تؤذي الأسهم: أنها تقلل من فائدة LMS على اللغة التي تستخدمها المجموعات المهمشة (على سبيل المثال، إن العربية الأفريقية الأمريكية وهوية الهوية الأقلية).على وجه الخصوص، نقوم بتنفيذ التقييمات التلقائية والإنسانية لجودة جيل النص عندما تكون LMS مشروطة على المدخلات مع لهجات مختلفة ومعرفات المجموعة.نجد أن إزالة السموم يجعل LMS أكثر هشة من تحول التوزيع، خاصة في اللغة التي تستخدمها المجموعات المهمشة.نحدد أن هذه الإخفاقات تنبع من أساليب إزالة السموم التي تستغل ارتباطات زائفة في مجموعات بيانات السمية.بشكل عام، تسلط نتائجنا الضوء على التوتر بين إمكانية التحكم والموازنة التوزيعية ل LMS.