Hur kan vi på ett effektivt sätt sprida osäkerhet i en latent statsrepresentation med återkommande neurala nätverk? Detta papper introducerar stokastiska återkommande neurala nätverk som limmar en deterministisk återkommande neurala nätverk och en tillstånd rymdmodell tillsammans för att bilda en stokastisk och sekventiell neural generativ modell. Den tydliga separationen av deterministiska och stokastiska skikt gör det möjligt för ett strukturerat variationsbaserat inferensnätverk att spåra faktoriseringen av modellens bakre fördelning. Genom att behålla både den icke-linjära rekursiva strukturen i ett återkommande neuralt nätverk och i genomsnitt över osäkerheten i en latent väg, som en stat rymdmodell, förbättrar vi toppmoderna resultat på talmodellerna Blizzard och TIMIT med stor marginal, samtidigt som vi uppnår jämförbara prestationer med konkurrerande metoder på polyfonisk musikmodellering.
REF föreslår en övergång över både en deterministisk och en stokastisk latent tillstånd sekvens, vill kombinera det bästa av båda världarna.
Sequential Neural Models with Stochastic Layers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}