Den variabla autoenkodern (VAE) är en populär kombination av djup latent variabel modell och åtföljande variationslära teknik. Genom att använda en neural inference nätverk för att approximera modellens bakre på latenta variabler, VEAs effektivt parameterisera en lägre gräns på marginaldata sannolikheten som kan optimeras direkt via gradient metoder. I praktiken resulterar dock VAE-träningen ofta i en degenererad lokal optimal så kallad "bakre kollaps" där modellen lär sig att ignorera den latenta variabeln och den ungefärliga bakre imiterar den tidigare. I denna uppsats undersöker vi bakre kollaps ur utbildningsdynamikens perspektiv. Vi finner att under de inledande faserna av utbildningen misslyckas inference nätverket med att approximera modellens verkliga bakre, vilket är ett rörligt mål. Som ett resultat av detta uppmuntras modellen att ignorera latent kodning och bakre kollaps inträffar. Baserat på denna observation föreslår vi en mycket enkel ändring av VAE-utbildningen för att minska inferencefördröjningen: beroende på modellens nuvarande ömsesidiga information mellan latent variabel och observation optimerar vi aggressivt inferencenätverket innan vi utför varje modelluppdatering. Trots att vi varken introducerar nya modellkomponenter eller betydande komplexitet i förhållande till grundläggande fordonslarmsystem kan vi undvika det problem med kollaps som har plågat en stor del av det tidigare arbetet. Empiriskt, vår strategi överträffar starka autoregressiva baslinjer på text och bild riktmärken i termer av hållna-ut sannolikhet, och är konkurrenskraftig med mer komplexa tekniker för att undvika kollaps samtidigt som de är betydligt snabbare. 1 1 Kod och uppgifter finns på https
Posteriör kollaps uppstår när den bakre under både generativ modell och ungefärlig bakre lärt av inference modellen är lika med föregående p(z) REF.
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}