Abstract-The area under ROC (mottagarens operativa egenskaper) kurvan, eller helt enkelt AUC, har traditionellt använts i medicinsk diagnos sedan 1970-talet. Det har nyligen föreslagits som ett alternativt mått på ett enda tal för att utvärdera den prediktiva förmågan hos inlärningsalgoritmer. Inga formella argument framfördes dock om varför AUC skulle föredras framför noggrannhet. I detta dokument fastställer vi formella kriterier för att jämföra två olika åtgärder för att lära algoritmer och vi visar teoretiskt och empiriskt att AUC är ett bättre mått (definierat exakt) än noggrannhet. Vi omvärderar sedan väletablerade påståenden i maskininlärning baserat på noggrannhet med hjälp av AUC och få intressanta och överraskande nya resultat. Till exempel har det varit väletablerat och accepterats att Naive Bayes och beslutsträd är mycket lika i prediktiv noggrannhet. Vi visar dock att Naive Bayes är betydligt bättre än beslutsträd i AUC. De slutsatser som dras i detta dokument kan ha en betydande inverkan på maskininlärning och tillämpningar för datautvinning.
En jämförelse mellan tre representativa inlärningsmetoder (Naive Bayes, beslutsträd och SVM) gjordes i REF, där man drog slutsatsen att Naive Bayes är betydligt bättre än beslutsträd om området under kurvan används som resultatmätning.
Using AUC and accuracy in evaluating learning algorithms
{'venue': 'IEEE Transactions on Knowledge and Data Engineering', 'journal': 'IEEE Transactions on Knowledge and Data Engineering', 'mag_field_of_study': ['Computer Science']}