Att få tillförlitlig osäkerhet uppskattningar av neurala nätverk förutsägelser är en långvarig utmaning. Bayesian neurala nätverk har föreslagits som en lösning, men det förblir öppet hur man specificerar deras tidigare. I synnerhet den vanliga praxis av en standard normal före i vikt utrymme innebär endast svaga regularities, vilket gör funktionen senare att eventuellt generalisera på oförutsedd sätt på ingångar utanför utbildningen distribution. Vi föreslår bullerkontrasterande tidigare (NCP) för att få tillförlitliga uppskattningar av osäkerheten. Huvudidén är att träna modellen till att producera hög osäkerhet för datapunkter utanför utbildningsdistributionen. NCP gör detta med hjälp av en inmatning tidigare, som lägger buller till inmatningarna i den nuvarande mini parti, och en utgång tidigare, som är en bred distribution med tanke på dessa ingångar. NCP är kompatibla med alla modeller som kan producera osäkerhetsuppskattningar, är lätta att skala och ger tillförlitliga osäkerhetsuppskattningar under hela utbildningen. Empiriskt visar vi att NCP förhindrar överutrustning utanför utbildningsdistributionen och resulterar i osäkerhetsbedömningar som är användbara för aktivt lärande. Vi visar skalbarheten av vår metod på flygförseningar data som, där vi avsevärt förbättrar på tidigare publicerade resultat.
Som visas i REF, införa en bullerkontrastive Prior (NCP) på data, och utdata tidigare i synnerhet hjälper modellera aleatorisk osäkerhet genom att utföra MAP uppskattning av utdata variansen.
Reliable Uncertainty Estimates in Deep Neural Networks using Noise Contrastive Priors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}