Djupt dynamiska generativa modeller utvecklas för att lära sig sekventiella beroenden i tidsseriedata. Den flerskiktade modellen är utformad genom att bygga en hierarki av tidssigmoida trosnätverk (TSBNs), definieras som en sekventiell stack av sigmoida trosnätverk (SBNs). Varje SBN har ett kontextuellt dolt tillstånd, ärvt från tidigare SBNs i sekvensen, och används för att reglera dess dolda fördomar. Skalbara inlärnings- och inferensalgoritmer härleds genom att införa en igenkänningsmodell som ger snabb provtagning från variationssidan. Denna igenkänningsmodell tränas tillsammans med den generativa modellen, genom att maximera dess variationella lägre gräns på log-likelihood. Experimentella resultat på studsande bollar, polyfonisk musik, rörelsefångst och textströmmar visar att det föreslagna tillvägagångssättet uppnår toppmoderna prediktiva prestanda, och har kapacitet att syntetisera olika sekvenser.
Deep Dynamic Sigmoid Belief Network REF staplar stegvis modeller av sigmoid trosnätverk och använder de binärt värderade dolda variablerna för att skildra det dynamiska log-range-beroendet.
Deep Temporal Sigmoid Belief Networks for Sequence Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}