Vi presenterar en ny undergrupp scan metod för att upptäcka om en probabilistisk binär klassificerare har statistiskt signifikant bias-over eller under förutsäga risken - för någon undergrupp, och identifiera egenskaperna hos denna undergrupp. Denna form av modellkontroll och gy-of-fit test ger ett sätt att tolka förekomsten av klassificeringsfördel och dålig klassificerings passform, inte bara i en eller två dimensioner av egenskaper av intresse i förväg, utan i utrymmet för alla möjliga funktionsundergrupper. Vi använder subgruppsskanning och parametriska bootstrap metoder för att effektivt ta itu med svårigheten att bedöma exponentiellt många möjliga subgrupper. Vi föreslår också flera användbara förlängningar av denna metod för att öka tolkningsbarheten av prediktiva modeller och förutsägelseprestanda.
Omedveten om de känsliga attributen försöker REF också skydda alla grupper med hjälp av undergruppsskanning och parametriska bootstrap-baserade metoder för att identifiera undergrupper med höga klassificeringsfel.
Identifying Significant Predictive Bias in Classifiers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}