Osäkerhetsuppskattning i stora djuplärande modeller är en beräkningsutmaning, där det är svårt att ens bilda en Gaussisk approximation till den bakre fördelningen. I sådana situationer, befintliga metoder brukar ta till en diagonal approximation av kovariansmatrisen trots det faktum att dessa matriser är kända för att ge dålig osäkerhet uppskattningar. För att ta itu med denna fråga föreslår vi en ny stokastisk, låg-rank, ungefärlig naturlig-gradient (SLANG) metod för variationsinferens i stora, djupa modeller. Vår metod uppskattar en "diagonal plus låg-rank" struktur baserad enbart på bakåt-propagerade gradienter av nätverket log-likelihood. Detta kräver strikt mindre lutningsberäkningar än metoder som beräknar lutningen av hela variationsmålet. Empiriska utvärderingar av standardriktmärken bekräftar att SLANG möjliggör snabbare och mer exakt uppskattning av osäkerhet än medelfältsmetoder, och att det fungerar jämförbart med de senaste metoderna. * Lika avgifter. Detta arbete utfördes under en praktik på RIKEN Center for AI-projektet.
Samtidigt antog REF en "diagonal och låggradig" approximation.
SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}