ترغب بنشر مسار تعليمي؟ اضغط هنا

تخفيف التحيز العرقي الذي تعتمد على اللغة في بيرت

Mitigating Language-Dependent Ethnic Bias in BERT

322   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في هذه الورقة، ندرس التحيز العرقي وكيف يختلف عبر اللغات عن طريق تحليل التحيز الإثني والتخفيف من التحيز الإثني في بيرت أحادي اللغة الإنجليزية والألمانية والإسبانية والكورية والتركية والصينية.لاحظ وتحديد التحيز العرقي، ونحن نطور مترا مربعا يسمى درجة التحيز الفئرانية.ثم نقترح طريقتين للتخفيف؛أولا باستخدام نموذج متعدد اللغات، والثاني باستخدام محاذاة الكلمات السياقية من نماذج أحادية.قارن أساليبنا المقترحة مع بيرت أحادي الأجل وإظهار أن هذه الأساليب تخفف بشكل فعال التحيز العرقي.أي من الطريقتين يعملان بشكل أفضل يعتمد على مقدار موارد NLP المتاحة لهذه اللغة.نحن بالإضافة إلى تجربة اللغة العربية واليونانية للتحقق من أن أساليبنا المقترحة تعمل من أجل مجموعة متنوعة واسعة من اللغات.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

أخبار وهمية تسبب أضرارا كبيرة في المجتمع.للتعامل مع هذه الأخبار المزيفة، تم إجراء العديد من الدراسات حول نماذج كشف البناء وترتيب مجموعات البيانات.معظم مجموعات بيانات الأخبار المزيفة تعتمد على فترة زمنية محددة.وبالتالي، فإن نماذج الكشف المدربة على مثل هذه البيانات لديها صعوبة في اكتشاف الأخبار الرواية المزيفة الناتجة عن التغييرات السياسية والتغيرات الاجتماعية؛قد ينتج عنهم إخراج متحيز من المدخلات، بما في ذلك أسماء شخص معين وأسماء تنظيمية.نشير إلى هذه المشكلة كتحيز DIACHRONIC لأنه سبب تاريخ إنشاء الأخبار في كل مجموعة بيانات.في هذه الدراسة، نؤكد التحيز، وخاصة الأسماء المناسبة بما في ذلك أسماء الشخص، من انحراف مظاهر العبارة في كل مجموعة بيانات.بناء على هذه النتائج، نقترح طرق الاخفاء باستخدام Wikidata للتخفيف من تأثير أسماء الشخص والتحقق من صحة ما إذا كانوا يقومون بإجراء نماذج الكشف عن الأخبار وهمية قوية من خلال التجارب مع بيانات داخل المجال والخروج.
في الوقت الحاضر، تستخدم منصات وسائل التواصل الاجتماعي نماذج التصنيف للتعامل مع خطاب الكراهية واللغة المسيئة.مشكلة هذه النماذج هي ضعفها للحيز.شكل منتشر من التحيز في خطاب الكراهية ومجموعات البيانات اللغوية المسيئة هو التحيز الهندي الناجم عن التصور النف سي للتعليق وتعقيد مهمة الشرح.في ورقتنا، نقوم بتطوير مجموعة من الأساليب لقياس التحيز العنافي في مجموعات البيانات اللغوية المسيئة وتحديد وجهات نظر مختلفة باللغة المسيئة.نحن نطبق هذه الأساليب إلى أربع مجموعات بيانات مختلفة للغة المسيئة.يدعم نهجنا المقترح عمليات التوضيحية لهذه مجموعات البيانات والبحوث المستقبلية التي تتناول وجهات نظر مختلفة حول تصور اللغة المسيئة.
يعيد هذا العمل مهمة اكتشاف الكلمات المتعلقة بالقرار في حوار متعدد الأحزاب.نستكشف أداء نهج تقليدي ونهج عميق قائم على التعلم بناء على نماذج لغة المحولات، مع تقدم الأخير تحسينات متواضعة.ثم نحلل تحريف الموضوع في النماذج باستخدام معلومات الموضوع التي تم ا لحصول عليها عن طريق التوضيح اليدوي.النتيجة لدينا هي أنه عند اكتشاف بعض الأنواع من القرارات في بياناتنا، تعتمد النماذج أكثر على موضوع الكلمات المحددة التي تدور حولها القرارات بدلا من الكلمات التي تشير بشكل عام إلى اتخاذ القرارات بشكل عام.نستكشف ذلك أيضا عن طريق إزالة معلومات الموضوع من بيانات القطار.نظهر أن هذا يحل قضايا التحيز إلى حد ما، ومدهشا، يعزز في بعض الأحيان.
تعد أنظمة معالجة اللغة الطبيعية (NLP) في قلب العديد من أنظمة صنع القرار الآلي الحرجة التي تجعل توصيات حاسمة حول عالمنا في المستقبل.تم دراسة التحيز بين الجنسين في NLP جيدا باللغة الإنجليزية، لكنها كانت أقل دراستها بلغات أخرى.في هذه الورقة، تضم فريقا ب ينهم متحدثون 9 لغات - الصينية والإسبانية والإنجليزية والعربية والألمانية والفرنسية والفرصي والأوردو وولف - تقارير وتحليل قياسات التحيز بين الجنسين في ولاية ويكيبيديا كورسيا لهذه اللغات 9 لغات 9 لغات 9 لغات 9 لغات 9 لغات هذه.نقوم بتطوير ملحقات لحسابات متر راي حساسية على مستوى المهنة والجنس على مستوى كوربوس المصممة في الأصل للغة الإنجليزية وتطبيقها على 8 لغات أخرى، بما في ذلك اللغات التي لديها أسماء جنسانية من النوع الاجتماعي بما في ذلك كلمات المهنة الأنثوية والمذكر والمحايدة المختلفة.نناقش العمل في المستقبل من شأنه أن يستفيد بشكل كبير من منظور اللغويات الحاسوبية.
وقد تبين أن نماذج اللغة ذات الضبط بذاتها أن تظهر تحيزات ضد المجموعات المحمية في مجموعة من مهام النمذجة مثل تصنيف النص ودقة Aqueference. تركز الأشغال السابقة على اكتشاف هذه التحيزات، وتقليل التحيز في تمثيلات البيانات، واستخدام أهداف التدريب الإضافية ل تخفيف التحيز أثناء الضبط بشكل جيد. على الرغم من أن هذه التقنيات تحقق تخفيض التحيز للمهمة والمجال في متناول اليد، إلا أن آثار تخفيف التحيز قد لا ينقل بشكل مباشر إلى مهام جديدة، مما يتطلب جمع بيانات إضافية وشروح تخصيصا للسمات الحساسة، وإعادة تقييم مقاييس الإنصاف المناسبة. نستكشف من جدوى وفوائد تخفيف التحيز المنبع (UBM) لتقليل التحيز حول مهام المصب، من خلال تطبيق تخفيف التحيز الأول لأول مرة إلى نموذج Upstream من خلال الضبط الجميل وبعد ذلك باستخدامه للضبط الناعم المصب. نجد، في تجارب واسعة عبر تكشف عن الكلام الكراهية، وكشف السمية ومهام القرار الأساسية حول عوامل التحذير المختلفة، أن آثار UPM قابلة للتحويل بالفعل إلى مهام أو مجالات جديدة للملاعب الجديدة من خلال ضبط نماذج دقيقة، مما يخلق نماذج أقل منحازة من النماذج بشكل مباشر ضبط المهمة المصب أو نقل من نموذج الفانيليا المنبع. على الرغم من أن التحديات تبقى، إلا أننا نوضح أن UBM يعد بتخفيف التحيز أكثر كفاءة ويمكن الوصول إليها في LM Fine-Tuning.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا