Arealen under ROC-kurvan (AUC) är ett mycket allmänt använt mått på prestanda för klassificering och diagnostiska regler. Det har den tilltalande egenskapen att vara objektiv, kräver inga subjektiva input från användaren. Å andra sidan har AUC nackdelar, varav några är välkända. AUC kan till exempel ge potentiellt vilseledande resultat om ROC-kurvorna korsar varandra. AUC har dock också en mycket allvarligare brist, och en brist som inte verkar ha erkänts tidigare. Detta är att den i grunden är inkonsekvent när det gäller kostnader för felklassificering: AUC använder olika kostnadsfördelningar för felklassificering för olika klassificeringar. Detta innebär att användning av AUC är likvärdigt med användning av olika mått för att utvärdera olika klassificeringsregler. Det är likvärdigt med att säga att med hjälp av en klassificering, felklassificering en klass 1 punkt är p gånger så allvarlig som felklassificering en klass 0 punkt, men, med hjälp av en annan klassificering, felklassificering en klass 1 punkt är P gånger så allvarlig, där p = P. Detta är nonsensical eftersom den relativa svårighetsgraden av olika typer av felklassificeringar av enskilda punkter är en egenskap hos problemet, inte de klassificatorer som råkar ha valts. Denna egenskap utforskas i detalj, och ett enkelt giltigt alternativ till AUC föreslås.
När det gäller mätvärden för online-inlärning är det värt att notera att REF har visat att AUC-måttet har en grundläggande begränsning eftersom det implicit använder olika kostnadsfördelningar för felklassificering för olika klassificeringar.
Measuring classifier performance: a coherent alternative to the area under the ROC curve
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}