Vi föreslår en enkel och skalbar metod för att förbättra flexibiliteten i variationsinferens genom en omvandling med autoregressiva nätverk. Autoregressiva nätverk, såsom RNN och MADE Germain m.fl. (2015), är mycket kraftfulla modeller; men, förfäder provtagning i sådana nätverk är en sekventiell operation, därför otillåten för direkt användning som ungefärliga posteriors i variationsinferens på parallell hårdvara såsom GPUs. Vi finner att genom att invertera autoregressiva nätverk kan vi få lika kraftfulla datatransformationer som ofta kan beräknas parallellt. Vi visar att sådana datatransformationer, inversa autoregressiva flöden (IAF), kan användas för att omvandla en enkel fördelning över de latenta variablerna till en mycket mer flexibel distribution, samtidigt som vi kan beräkna de resulterande variablernas sannolikhetstäthet funktion. Metoden är enkel att genomföra, kan göras godtyckligt flexibel, och (i motsats till tidigare arbete) är naturligt tillämplig på latenta variabler som är organiserade i flerdimensionella tensorer, såsom 2D rutnät eller tidsserier. Metoden tillämpas på en ny djup arkitektur av variationella autokodare. I experiment visar vi att autoregressivt flöde leder till betydande prestandavinster när det tillämpas på variations autoenkodrar för naturliga bilder.
REF ökar flexibiliteten i den bakre genom automatisk regression över projektioner av stokastiska latenta variabler.
Improving Variational Inference with Inverse Autoregressive Flow
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}