Variala autokodrar (s) lär sig distributioner av högdimensionella data. De modellerar data med en djup latent-variabel modell och passar sedan modellen genom att maximera en lägre gräns för log marginal sannolikhet. s kan fånga komplexa distributioner, men de kan också lida av en fråga som kallas "latent variabel kollaps", särskilt om sannolikheten modellen är kraftfull. Specifikt innebär den nedre gränsen en ungefärlig bakre del av de latenta variablerna; denna bakre "kollaps" när den sätts lika med föregående, dvs. när den ungefärliga bakre är oberoende av data. Medan s lära sig bra generativa modeller, latent variabel kollaps hindrar dem från att lära sig användbara representationer. I detta dokument föreslår vi ett enkelt nytt sätt att undvika latent variabelkollaps genom att inkludera hoppa anslutningar i vår generativa modell; dessa anslutningar upprätthåller starka kopplingar mellan de latenta variablerna och sannolikhetsfunktionen. Vi studerar generativa hoppa över modeller både teoretiskt och empiriskt. Teoretiskt visar vi att hoppa över modeller ökar den ömsesidiga informationen mellan observationerna och de infererade latenta variablerna. Empiriskt studerar vi bilder (MNIST och Omniglott) och text (Yahoo). Jämfört med befintliga VAE-arkitekturer visar vi att generative skip-modeller upprätthåller liknande prediktiva prestanda men leder till mindre kollaps och ger mer meningsfulla representationer av data.
REF föreslog att hoppa över anslutningar från latenta variabler till lägre lager av dekoder och visade att detta ökar den ömsesidiga informationen mellan data och latenta koder.
Avoiding Latent Variable Collapse With Generative Skip Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}