Vid integrering av beräkningsverktyg, såsom automatisk segmentering, i klinisk praxis är det av yttersta vikt att kunna bedöma noggrannhetsnivån på nya data och i synnerhet att upptäcka när en automatisk metod misslyckas. Detta är dock svårt att uppnå på grund av avsaknaden av grundsanning. Segmenteringsnoggrannheten på kliniska data kan skilja sig från vad som hittas genom korsvalidering, eftersom valideringsdata ofta används under stegvis metodutveckling, vilket kan leda till överpassning och orealistiska prestandaförväntningar. Innan utplaceringen kvantifieras prestandan med hjälp av olika mätvärden, för vilka den förutsedda segmenteringen jämförs med en referenssegmentering, som ofta erhålls manuellt av en expert. Men föga är känt om den verkliga prestandan efter utplacering när en referens är otillgänglig. I detta dokument introducerar vi begreppet omvänd klassificeringsnoggrannhet (RCA) som ett ramverk för att förutsäga prestandan hos en segmenteringsmetod på nya data. I RCA tar vi den förutsagda segmenteringen från en ny bild för att träna en omvänd klassificering, som utvärderas på en uppsättning referensbilder med tillgänglig marksanning. Hypotesen är att om den förutsagda segmenteringen är av god kvalitet kommer den omvända klassificeringen att fungera bra på åtminstone några av referensbilderna. Vi validerar vår strategi för flerorganisationssegmentering med olika klassificerings- och segmenteringsmetoder. Våra resultat visar att det verkligen är möjligt att förutsäga kvaliteten på enskilda segmenteringar, i avsaknad av grundsanning. Således är RCA idealisk för integrering i automatisk bearbetning pipelines i klinisk rutin och som en del av storskaliga bildanalysstudier.
Mer nyligen anpassades detta som en förtroendeskattning för att förutsäga segmentering prestanda i den kliniska domänen REF.
Reverse Classification Accuracy: Predicting Segmentation Performance in the Absence of Ground Truth
{'venue': 'IEEE Transactions on Medical Imaging', 'journal': 'IEEE Transactions on Medical Imaging', 'mag_field_of_study': ['Computer Science', 'Medicine']}