تولد نماذج اللغة الكبيرة (LM) نص بطلاقة بشكل ملحوظ ويمكن تكييفها بكفاءة عبر مهام NLP. قياس وضمان جودة النص الذي تم إنشاؤه من حيث السلامة أمر ضروري لنشر LMS في العالم الحقيقي؛ تحقيقا لهذه الغاية، غالبا ما يعتمد العمل السابق على التقييم التلقائي لسمية
LM. نناقش هذا النهج بشكل خطير، وتقييم العديد من استراتيجيات تخفيف السمية فيما يتعلق بالتقييم التلقائي والبشري، وتحليل عواقب التخفيف من السمية من حيث التحيز النموذجي وجودة LM. نوضح أنه في حين أن استراتيجيات التدخل الأساسية يمكن أن تتحسن بشكل فعال مقاييس تلقائية تم تأسيسها مسبقا على مجموعة بيانات Realtoxicyprompts، فإن هذا يأتي عند تكلفة انخفاض تغطية LM لكلا النصوص حول، ولهجات المجموعات المهمشة. بالإضافة إلى ذلك، نجد أن التصدير البشري غالبا ما يختلفون في درجات سمية تلقائية عالية بعد تدخلات تخفيض السمية القوي --- تسليط الضوء على مزيد من الفروق الدقيقة المشاركة في التقييم الدقيق لسامة LM.
وقد وجدت الأعمال الحديثة دليلا على التحيز بين الجنسين في نماذج من الترجمة الآلية ودقة Aquerence باستخدام مجموعات بيانات التشخيص الاصطناعية في الغالب. في حين أن هذه التحيز الكمي في تجربة خاضعة للرقابة، فإنها غالبا ما تفعل ذلك على نطاق صغير وتتكون في م
عظمها من الجمل الاصطناعية، خارج التوزيع. في هذا العمل، نجد أنماط نحوية تشير إلى مهام الدورانية النمطية وغير النمطية (مثل الممرضات الإناث مقابل الراقصين الذكور) في كوربورا من ثلاثة مجالات، مما أدى إلى أول مجموعة بيانات BIAS الجنسية على نطاق واسع من 108 ألفا جمل. نحن نتحقق يدويا من جودة Corpus الخاصة بنا واستخدامها لتقييم التحيز بين الجنسين في نماذج تحليل الأسلحة الأساسية المختلفة ونماذج الترجمة الآلية. نجد أن جميع النماذج المختبرة تميل إلى الإفراط في الاعتماد على الصور النمطية الجنسانية عند تقديمها مع المدخلات الطبيعية، والتي قد تكون ضارة بشكل خاص عند نشرها في النظم التجارية. أخيرا، نظيرنا على أن مجموعة بياناتنا تضفي نفسها على نموذج دقة COMEARCASE، ويجد أن يجدد التحيز على مجموعة مشغولة. تتوفر DataSet ونماذجنا علنا في Github.com/slab-nlp/bug. نأمل أن يحفزون البحوث المستقبلية في تقنيات تخفيف تقييم التقييم بين الجنسين في الإعدادات الواقعية.
حاليا، تتلقى الترجمة متعددة اللغات الآلية أكثر اهتماما أكثر وأكثر لأنها تجلب أداء أفضل لغات الموارد المنخفضة (LRLS) وتوفر مساحة أكبر. ومع ذلك، فإن نماذج الترجمة متعددة اللغات الحالية تواجه تحديا شديدا: عدم التوازن. نتيجة لذلك، فإن أداء الترجمة من لغا
ت مختلفة في نماذج الترجمة متعددة اللغات مختلفة تماما. نقول أن مشكلة الاختلال هذه تنبع من كفاءات التعليم المختلفة لغات مختلفة. لذلك، نحن نركز على تحقيق التوازن بين الكفاءات التعليمية لغات مختلفة واقتراح مناهج التعلم القائم على الكفاءة للترجمة الآلية متعددة اللغات، والتي تسمى CCL-M. على وجه التحديد، نقوم أولا بتحديد كفاءتين للمساعدة في جدولة لغات الموارد العالية (HRLS) ولغات المورد المنخفضة: 1) الكفاءة التي تم تقييمها ذاتيا، وتقييم مدى تعلم اللغة نفسها؛ 2) الكفاءة التي تم تقييمها HRLS، وتقييم ما إذا كانت LRL جاهزة للتعلم وفقا لخلاف HRLS الذي تم تقييمه الذاتي. استنادا إلى الكفاءات المذكورة أعلاه، نستخدم خوارزمية CCL-M المقترحة إضافة لغات جديدة تدريجيا في التدريب المحدد بطريقة تعلم المناهج الدراسية. علاوة على ذلك، نقترح استراتيجية أخذان رصاصة ديناميكية متوازنة من الكفاءة النووية لتحسين عينات التدريب بشكل أفضل في التدريب متعدد اللغات. تظهر النتائج التجريبية أن نهجنا حقق مكاسب أداء ثابتة وهامة مقارنة بالنهج السابق للدولة السابقة بشأن مجموعة بيانات محادثات تيد.
