Det händer ibland (till exempel i fallkontrollstudier) att en klassificerare utbildas på en datauppsättning som inte återspeglar de verkliga sannolikheterna i förväg för målklasserna på verkliga data. Detta kan ha en negativ inverkan på den klassificeringsnoggrannhet som erhålls på den verkliga datamängden, särskilt när klassificeringsföretagets beslut baseras på de efterkommande sannolikheterna för klassmedlemskap. I detta fall ger den utbildade klassificeraren uppskattningar av sannolikheterna i efterhand som inte är giltiga för denna datauppsättning i verkligheten (de förlitar sig på att utbildningssetet i förväg är sannolikt). Att tillämpa klassificeringskoden som den är (utan att korrigera dess utgångar med avseende på dessa nya villkor) på denna nya datauppsättning kan således vara underoptimalt. I denna not presenterar vi ett enkelt iterativt förfarande för att justera resultaten av den utbildade klassificeringen med avseende på dessa nya a priori sannolikheter utan att behöva anpassa modellen, även när dessa sannolikheter inte är kända i förväg. Som en biprodukt erhålls också uppskattningar av de nya sannolikheterna på förhand. Denna iterative algoritm är en enkel instans av förväntan-maximization (EM) algoritm och visas för att maximera sannolikheten för de nya data. Därefter diskuterar vi ett statistiskt test som kan tillämpas för att avgöra om sannolikheten för en priori-klass har förändrats från träningssetet till verkliga data. Förfarandet illustreras på olika klassificeringsproblem som involverar ett flerlagers neuralt nätverk, och jämförelser med ett standardförfarande för en förhandsbedömning av sannolikheten ges. Vår ursprungliga metod, baserad på EM-algoritmen, visas vara överlägsen standardmetoden för en förhandsbedömning av sannolikheten. Experimentella resultat visar också att den som klassificerar sig med justerade utgångar alltid presterar bättre än den ursprungliga i fråga om klassificeringsnoggrannhet, när förutsättningarna för förhandssannolikhet skiljer sig från den utbildning som anges till verkliga data. Den ökade klassificeringsnoggrannheten kan vara betydande.
Ytterligare en metod för kvantifiering exemplifieras av EMQ-metoden REF, som består i att generera en probabilistisk klassificeringsapparat samtidigt som EM-algoritmen utnyttjas för att iterativt förskjuta uppskattningen av p C (D) från den ena av utbildningens uppsättning till den som maximerar sannolikheten för testdata.
Adjusting the Outputs of a Classifier to New a Priori Probabilities: A Simple Procedure
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Computer Science', 'Medicine']}