Moderna maskininlärningsmetoder inklusive djupinlärning har uppnått stor framgång i prediktiv noggrannhet för övervakade inlärningsuppgifter, men kan fortfarande misslyckas med att ge användbara uppskattningar av deras prediktiva osäkerhet. Kvantifierande osäkerhet är särskilt viktigt i verkliga miljöer, som ofta innebär indatadistributioner som flyttas från utbildningsdistributionen på grund av en mängd olika faktorer, inklusive provfördomar och icke-stationärhet. I sådana inställningar förmedlar väl kalibrerade osäkerhetsuppskattningar information om när en modells utdata bör (eller inte bör) vara betrodd. Många probabilistiska djupinlärningsmetoder, inklusive Bayesian- och nonbayesian metoder, har föreslagits i litteraturen för att kvantifiera prediktiv osäkerhet, men enligt vår kunskap har det inte tidigare varit en rigorös storskalig empirisk jämförelse av dessa metoder under dataset skifte. Vi presenterar ett storskaligt riktmärke för befintliga toppmoderna metoder för klassificeringsproblem och undersöker effekten av datauppsättningsförskjutning på noggrannhet och kalibrering. Vi anser att den traditionella post-hoc-kalibreringen verkligen är kort, liksom flera andra tidigare metoder. Vissa metoder som marginaliserar över modeller ger dock förvånansvärt starka resultat över ett brett spektrum av uppgifter.
REF-studier modellerar osäkerhet under datasetförskjutning och ger en storskalig empirisk jämförelse av olika kalibreringstekniker.
Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}