حقق التطورات الحديثة في أنظمة NLP، ولا سيما النموذج الاحتياطي والأصلون، نجاحا كبيرا في الدقة التنبؤية. ومع ذلك، عادة ما لا يتم معايرة هذه الأنظمة بشكل جيد بسبب عدم اليقين خارج الصندوق. تم اقتراح العديد من طرق إعادة المعاير في الأدبيات لتحديد حالة عدم
اليقين التنبؤية ونواتج النماذج المعايرة، بدرجات متفاوتة من التعقيد. في هذا العمل، نقدم دراسة منهجية لبعض هذه الأساليب. التركيز على مهمة تصنيف النص ونماذج اللغة الكبيرة المسبقة مسبقا، نظرا لأول مرة أن العديد من النماذج الفعلية غير معايرت بشكل جيد خارج المربع، خاصة عندما تأتي البيانات من إعدادات خارج المجال. بعد ذلك، قارنا فعالية بعض أساليب إعادة المعايير المستخدمة على نطاق واسع (مثل الكفرات، تحجيم درجة الحرارة). بعد ذلك، نوضح تجريبيا اتصالا بين التقطير والمعايرة. نعتبر تقطير مصطلح تنظيمي يشجع نموذج الطالب على إخراج الشكوك التي تتناسب مع نموذج المعلمين. بهذه البصيرة، نطور أساليب إعادة المعايير البسيطة القائمة على التقطير دون أي تكلفة إضافية لاستنتاج الاستدلال. نظهر على معيار الغراء أن أساليبنا البسيطة يمكن أن تحقق أداء المعايرة المنافسة خارج المجال (OOD) W.R.T. مناهج أكثر تكلفة. أخيرا، ندرج ablations لفهم فائدة مكونات أسلوبنا المقترح وفحص قابلية نقل المعايرة عبر التقطير.
البيانات بشكل عام ترميز التحيزات البشرية بشكل افتراضي؛ إن إدراك هذه بداية جيدة، والبحث حول كيفية التعامل معها مستمر. يتم استخدام مصطلح التحيز على نطاق واسع في سياقات مختلفة في أنظمة NLP. في بحثنا، يكون التركيز محددا للتحيزات مثل النوع الاجتماعي والعن
صرية والدين والوجهات الديمغرافية وغيرها من الآراء عند التحيزات التي تسود في أنظمة معالجة النصوص مسؤولة عن تمييز السكان المحددين بشكل منهجي، وهي ليست أخلاقية في NLP. تؤدي هذه التحيزات إلى تفاقم عدم المساواة والتنوع وإدراج السكان المحددين أثناء الاستفادة من تطبيقات NLP. تستخدم الأدوات والتكنولوجيا على المستوى المتوسط بيانات متحيزة، ونقل أو تضخيم هذا التحيز إلى تطبيقات المصب. ومع ذلك، لا يكفي أن تكون كافية، محايدة بين الجنسين وحدها عند تصميم تكنولوجيا غير متحيزة - بدلا من ذلك، يجب أن نأخذ جهدا واعيا من خلال تصميم إطار موحد لقياس وتحيز التحيز. في هذه الورقة، نوصي بستة تدابير وقياس زيادة واحدة بناء على ملاحظات التحيز في البيانات والشروح والتمثيلات النصية وتقنيات الدخل.
