Normalisering flöden och autoregressiva modeller har framgångsrikt kombinerats för att producera state-of-the-art resultat i densitetsberäkning, via Masked Autoregressive Flows (MAF) (Papamakarios et al., 2017), och för att påskynda state-of-the-art WaveNet-baserad talsyntes till 20x snabbare än realtid (Oord et al., 2017), via Inverse Autoregressive Flows (IAF). Vi förenar och generaliserar dessa tillvägagångssätt, ersätter (villkorligt) affina univariata omvandlingar av MAF/IAF med en mer allmän klass av inverterbara univariata omvandlingar uttryckta som monotona neurala nätverk. Vi visar att de föreslagna neurala autoregressiva flöden (NAF) är universella approximatorer för kontinuerliga sannolikhetsfördelningar, och deras större expressivitet gör det möjligt för dem att bättre fånga multimodala målfördelningar. Experimentellt, NAF ger state-of-the-art prestanda på en svit av densitetsuppskattning uppgifter och överträffar IAF i variations autoencoders utbildad på binarized MNIST.
REF visar att NAF är universella täthet approximatorer.
Neural Autoregressive Flows
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}