Att använda maskininlärning i applikationer med höga insatser (t.ex. Vi behöver verktyg för att bygga upp förtroendet för systemet och utvärdera om det är tillförlitligt. Metoder för att förbättra modellens tillförlitlighet kräver ofta nya inlärningsalgoritmer (t.ex. Använda Bayesian inference för att få osäkerhetsuppskattningar. Ett alternativ är att granska en modell efter utbildningen. I detta dokument beskriver vi omsampling osäkerhet uppskattning (RUE), en algoritm för att granska den punktvisa tillförlitligheten av förutsägelser. Intuitivt uppskattar RUE den mängd som en förutsägelse skulle ändra om modellen hade passat på olika träningsdata. Algoritmen använder lutningen och Hessian av modellens förlustfunktion för att skapa en ensemble av förutsägelser. Experimentellt visar vi att RUE mer effektivt upptäcker felaktiga förutsägelser än befintliga verktyg för revision tillförlitlighet efter utbildningen. Vi visar också att RUE kan skapa prediktiva distributioner som är konkurrenskraftiga med toppmoderna metoder som Monte Carlo dropout, probabilistic backpropagation, och djupa ensembler, men inte är beroende av specifika algoritmer vid tåg-tid som dessa metoder gör.
REF använde influensfunktioner för att producera konfidensintervall för en förutsägelse och för att granska tillförlitligheten hos förutsägelser.
Can You Trust This Prediction? Auditing Pointwise Reliability After Learning
{'venue': 'AISTATS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}