Vi visar att en generativ slumpmässig fältmodell, som vi kallar generative ConvNet, kan härledas från den allmänt använda diskriminativa ConvNet, genom att anta en ConvNet för klassificering i flera kategorier och förutsatt att en av kategorierna är en baskategori som genereras av en referensfördelning. Om vi vidare antar att den icke-linjäritet i ConvNet är Rectified Linear Unit (ReLU) och referensfördelningen är Gaussian vitt buller, då får vi en generativ ConvNet modell som är unik bland energibaserade modeller: Modellen är bitvis Gaussian, och medlen för Gaussian bitar definieras av en auto-encoder, där filtren i bottom-up kodning blir basfunktionerna i top-down avkodning, och binära aktiveringsvariabler som upptäcks av filtren i botten-up convolution processen blir koefficienter för basfunktionerna i top-down deconvolution process. Den Langevin dynamik för provtagning den generativa ConvNet drivs av rekonstruktion fel av denna autoencoder. Den kontrastiva divergensen lärande av den generativa ConvNet rekonstruerar träningsbilderna av auto-encoder. Den maximala sannolikheten att lära algoritm kan syntetisera realistiska naturliga bildmönster.
Nyligen föreslogs en djup generativ modell direkt härledd från den diskriminerande ConvNet-modellen i REF.
A Theory of Generative ConvNet
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}