Variala autokodare är kraftfulla modeller för oövervakat lärande. Men djupa modeller med flera lager av beroende stokastiska variabler är svåra att träna, vilket begränsar de förbättringar som uppnås med hjälp av dessa mycket uttrycksfulla modeller. Vi föreslår en ny slutledningsmodell, Stege Variational Autoencoder, som rekursivt korrigerar den generativa distributionen genom en databeroende ungefärlig sannolikhet i en process som liknar den nyligen föreslagna Stege Network. Vi visar att denna modell ger state of the art prediktive log-likelihood och tätare log-likelihood lägre gräns jämfört med den rent bottom-up inference i skiktade Variarational Autoencoders och andra generativa modeller. Vi ger en detaljerad analys av den inlärda hierarkiska latenta representationen och visar att vår nya inferensmodell är kvalitativt annorlunda och använder en djupare, mer distribuerad hierarki av latenta variabler. Slutligen observerar vi att batch normalisering och deterministisk uppvärmning (gradvis vridning på KL-term) är avgörande för träning variationsmodeller med många stokastiska lager.
Stege Varial Autoencoders REF föreslog en rad tekniker för att delvis lindra denna fråga.
Ladder Variational Autoencoders
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}