مجردة ⚠ تحتوي هذه الورقة على مطالبات ونواتج النماذج المسيئة في الطبيعة. عند التدريب على الزحف الكبيرة وغير المرفقة من الإنترنت، تلتقط نماذج اللغة وإعادة إنتاج جميع أنواع التحيزات غير المرغوب فيها التي يمكن العثور عليها في البيانات: أنها غالبا ما تولد
لغة عنصرية أو جنسية أو عنيفة أو غير سامة. نظرا لأن النماذج الكبيرة تتطلب ملايين الأمثلة التدريبية لتحقيق أداء جيد، فمن الصعب منعها تماما من التعرض لمثل هذا المحتوى. في هذه الورقة، نوضح أولا في العثور على إيجاد مفاجئ: تعترف نماذج اللغة المحددة، إلى درجة كبيرة، تحيزاتهم غير المرغوب فيها وسمية المحتوى الذي ينتجونه. نشير إلى هذه القدرة كتشخيص الذاتي. بناء على هذا النتيجة، نقترح خوارزمية فك تشفير ذلك، بالنظر إلى وصف نصي فقط للسلوك غير المرغوب فيه، يقلل من احتمال إنتاج نموذج لغة ينتج نصا مشكلة. نشير إلى هذا النهج كدخل ذاتي. لا يعتمد الدخل الذاتي على قوائم Word يدويا يدويا، ولا يتطلب الأمر أي بيانات تدريبية أو تغييرات على معلمات النموذج. في حين أننا لا نقضاء بأي حال من الأحوال قضية نماذج اللغة التي تولد نص متحيز، فإننا نعتقد أن نهجنا خطوة مهمة في هذا الاتجاه
