على تأثير بذور عشوائية على نزاهة الطبقات السريرية

لقد أظهر العمل الحديث أن الشبكات الكبيرة التي تعمل بالضبط حساسة بشكل مدهش للتغيرات في بذور (بذور عشوائية). نستكشف الآثار المترتبة على هذه الظاهرة من أجل الإنصاف النموذجي عبر المجموعات الديموغرافية في مهام التنبؤ السريري على السجلات الصحية الإلكترونية (EHR) في MIMIC-III ------ The Standard DataSet في بحث Clinical NLP. يختلف أداء مجموعة فرعية واضحة بشكل كبير عن البذور التي تسفر عن أداء عموما مماثل، على الرغم من عدم وجود دليل على المفاضلة بين أداء المجموعات الفرعية بشكل عام. ومع ذلك، نجد أيضا أن أحجام العينات الصغيرة الكامنة للنظر في تقاطعات مجموعات الأقليات والظروف النادرة إلى حد ما تحد من قدرتنا على تقدير التباينات بدقة. علاوة على ذلك، نجد أن التحسين المشترك للأداء الشامل العالي والتفاوتات المنخفضة لا تستسلم تحسينات ذات دلالة إحصائية. تشير نتائجنا إلى أن عدالة العمل باستخدام MIMIC-III يجب أن يمر بعناية الاختلافات في الاختلافات الواضحة التي قد تنشأ من الاستوك الاستوكاني وأحجام عينة صغيرة.

Recent work has shown that fine-tuning large networks is surprisingly sensitive to changes in random seed(s). We explore the implications of this phenomenon for model fairness across demographic groups in clinical prediction tasks over electronic health records (EHR) in MIMIC-III ------ the standard dataset in clinical NLP research. Apparent subgroup performance varies substantially for seeds that yield similar overall performance, although there is no evidence of a trade-off between overall and subgroup performance. However, we also find that the small sample sizes inherent to looking at intersections of minority groups and somewhat rare conditions limit our ability to accurately estimate disparities. Further, we find that jointly optimizing for high overall performance and low disparities does not yield statistically significant improvements. Our results suggest that fairness work using MIMIC-III should carefully account for variations in apparent differences that may arise from stochasticity and small sample sizes.