صنع رؤوس وذيول النماذج مع المعايرة الهامشية للأشرطة المتناقضة

لتفسير سلوك نموذج الاحتمالية، من المفيد قياس معايرة النموذج --- المدى الذي ينتج عنه درجات ثقة موثوقة.نحن نتطلع إلى مشكلة المعايرة المفتوحة لوضع العلامات النماذج ذات الأشكال المتناقضة، والتوصية باستراتيجيات لقياس وتقليل خطأ المعايرة (CE) في هذه النماذج.نظهر أن العديد من تقنيات إعادة التدوير بعد المخصص كلها تقلل من خطأ المعايرة عبر التوزيع الهامشي لطاغين تسلسلين موجودين.علاوة على ذلك، نقترح مجموعة تجميع الترددات (TFG) كوسيلة لقياس خطأ المعايرة في نطاقات التردد المختلفة.علاوة على ذلك، يعزز إعادة معايرة كل مجموعة بشكل منفصل تخفيض أكثر إنصافا لخطأ المعايرة عبر طيف تردد العلامات.

For interpreting the behavior of a probabilistic model, it is useful to measure a model's calibration---the extent to which it produces reliable confidence scores. We address the open problem of calibration for tagging models with sparse tagsets, and recommend strategies to measure and reduce calibration error (CE) in such models. We show that several post-hoc recalibration techniques all reduce calibration error across the marginal distribution for two existing sequence taggers. Moreover, we propose tag frequency grouping (TFG) as a way to measure calibration error in different frequency bands. Further, recalibrating each group separately promotes a more equitable reduction of calibration error across the tag frequency spectrum.