Att på ett tillförlitligt sätt bedöma förtroendet för ett djupt neuralt nätverk och förutsäga dess misslyckanden är av största vikt för den praktiska spridningen av dessa modeller. I detta dokument föreslår vi ett nytt målkriterium för modellens förtroende, vilket motsvarar Sann Class Sannolikhet (TCP). Vi visar hur TCP lämpar sig bättre än att förlita sig på den klassiska Maximum Class Sannolikhet (MCP). Vi tillhandahåller dessutom teoretiska garantier för TCP i samband med felprognoser. Eftersom den verkliga klassen är helt okänd vid testtillfället föreslår vi att man lär sig TCP-kriteriet på utbildningsområdet och inför ett särskilt utbildningsprogram som är anpassat till detta sammanhang. Omfattande experiment genomförs för att bekräfta relevansen av det föreslagna tillvägagångssättet. Vi studerar olika nätverksarkitekturer, små och stora datauppsättningar för bildklassificering och semantisk segmentering. Vi visar att vår strategi konsekvent överträffar flera starka metoder, från MCP till Bayesian osäkerhet, samt nya metoder som är särskilt utformade för felprognoser.
I en nyligen genomförd strategi föreslog REF att man skulle rikta regressionen mot "sann klass sannolikhet" som förbättrades jämfört med fysisk planering för feldetektering.
Addressing Failure Prediction by Learning Model Confidence
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}