Det har funnits ett stort intresse för att designa neurala nätverksmodeller för att uppskatta en distribution från en uppsättning exempel. Vi introducerar en enkel modifiering för autoencoder neurala nätverk som ger kraftfulla generativa modeller. Vår metod döljer autoenkoderns parametrar för att respektera autoregressiva begränsningar: varje ingång rekonstrueras endast från tidigare ingångar i en given beställning. Konstruerad på detta sätt, autoencoder utgångar kan tolkas som en uppsättning villkorliga sannolikheter, och deras produkt, den fulla gemensamma sannolikheten. Vi kan också träna ett enda nätverk som kan bryta den gemensamma sannolikheten i flera olika beställningar. Vårt enkla ramverk kan tillämpas på flera arkitekturer, inklusive djupa sådana. Vektoriserade implementationer, såsom på GPU:er, är enkla och snabba. Experiment visar att detta tillvägagångssätt är konkurrenskraftigt med de senaste spridningsskattningarna. Vid testtillfället är metoden betydligt snabbare och skalar bättre än andra autoregressiva estimatorer.
REF modifiera en autoencoder neurala nätverk för att uppskatta villkorliga sannolikheter med autoregressiva begränsningar.
MADE: Masked Autoencoder for Distribution Estimation
{'venue': 'Proceedings of the 32nd International Conference on Machine Learning, JMLR W&CP 37:881-889, 2015', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}