PixelCNNs är en nyligen föreslagna klass av kraftfulla generativa modeller med dragbar sannolikhet. Här diskuterar vi vårt genomförande av PixelCNN som vi gör tillgängligt på https://github.com/openai/pixel-cnn. Vårt genomförande innehåller ett antal ändringar av den ursprungliga modellen som både förenklar dess struktur och förbättrar dess prestanda. 1) Vi använder en diskretiserad logistisk blandning sannolikhet på pixlarna, snarare än en 256-vägs softmax, som vi finner för att påskynda träningen. 2) Vi konditionerar hela pixlar, snarare än R/G/B sub-pixlar, förenklar modellens struktur. 3) Vi använder nedsampling för att effektivt fånga struktur vid flera upplösningar. 4) Vi introducerar ytterligare kortslutningsanslutningar för att ytterligare påskynda optimeringen. 5) Vi regulariserar modellen med hjälp av avhopp. Slutligen presenterar vi toppmoderna logsannolikhetsresultat för CIFAR-10 för att visa nyttan av dessa ändringar.
För att lösa detta problem föreslog PixelCNN++ REF en diskretiserad logistisk blandning sannolikheten att uppnå snabbare utbildning.
PixelCNN++: Improving the PixelCNN with Discretized Logistic Mixture Likelihood and Other Modifications
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}