Många insatser har gjorts för att utbilda generativa latenta variabla modeller med autoregressiva dekodrar, såsom återkommande neurala nätverk (RNN). Stochastiska återkommande modeller har lyckats fånga variabiliteten som observerats i naturliga sekventiella data såsom tal. Vi förenar framgångsrika idéer från nyligen föreslagna arkitekturer till en stokastisk återkommande modell: varje steg i sekvensen är associerat med en latent variabel som används för att konditionera den återkommande dynamiken för framtida steg. Utbildningen utförs med amortiserad variationsinferens där den ungefärliga bakdelen förstärks med en RNN som löper bakåt genom sekvensen. Förutom att maximera variationen lägre gräns, underlättar vi utbildning av latenta variabler genom att lägga till en extra kostnad som tvingar dem att rekonstruera tillståndet i det bakåt återkommande nätverket. Detta ger de latenta variablerna ett uppgiftsoberoende mål som förbättrar prestandan för den övergripande modellen. Vi fann denna strategi för att utföra bättre än alternativa metoder som KL glödgning. Även om vår modell är konceptuellt enkel, uppnår den toppmoderna resultat på standardtalriktmärken som TIMIT och Blizzard och konkurrenskraftiga prestanda på sekventiell MNIST. Slutligen använder vi vår modell för språkmodellering på IMDB-datasetet där hjälpkostnaden hjälper till att lära sig tolkabara latenta variabler.
I ett försök nyligen föreslog författarna till Zforcing också en extra träningssignal för latenta variabler ensam, vilket tvingar latenta variabler att rekonstruera tillståndet för den bakåt RNN REF.
Z-Forcing: Training Stochastic Recurrent Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}