Normalisera flöden har visat sig vara en kraftfull klass av generativa modeller för kontinuerliga slumpmässiga variabler, vilket ger både stark prestanda och potential för icke-autoregressiv generering. Dessa fördelar är också önskvärt när modellering av diskreta slumpvariabler såsom text, men direkt tillämpa normalisering flöden till diskreta sekvenser innebär betydande ytterligare utmaningar. Vi föreslår en generativ modell som tillsammans lär sig en normaliserande flödesbaserad fördelning i det latenta rummet och en stokastisk kartläggning till ett observerat diskret utrymme. I detta sammanhang anser vi att det är mycket viktigt att den flödesbaserade distributionen är mycket multimodal. För att fånga denna egenskap föreslår vi flera normaliserande flödesarkitekturer för att maximera modellflexibilitet. Experiment anser gemensamma diskreta sekvens uppgifter tecken-nivå språkmodellering och polyfonisk musik generation. Våra resultat indikerar att en autoregressiv flödesbaserad modell kan matcha prestandan hos en jämförbar autoregressiv baslinje, och en icke-autoregressiv flödesbaserad modell kan förbättra genereringshastigheten med ett straff för prestanda.
REF lär sig en tidigare baserad på normaliserade flöden för att modellera multimodala diskreta fördelningar av teckennivåtexter i latenta utrymmen med ickelinjära flödeslager.
Latent Normalizing Flows for Discrete Sequences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}