Många olika metoder för att träna djupa generativa modeller har tidigare införts. I detta dokument föreslår vi att den variationella auto-encoder (VAE) ram med en ny typ av tidigare som vi kallar "Variarationell blandning av posteriors" tidigare, eller VampPrior för kort. VampPrior består av en blandningsfördelning (t.ex. en blandning av Gaussians) med komponenter som ges av variations posteriors villkorade på lärbara pseudo-ingångar. Vi utvidgar detta ytterligare till en hierarkisk tvåskiktsmodell och visar att denna arkitektur med en länkad tidigare och senare lär sig betydligt bättre modeller. Modellen undviker också de vanliga lokala optima frågorna relaterade till onödiga latenta dimensioner som plågar fordonslarm. Vi tillhandahåller empiriska studier på sex datauppsättningar, nämligen statiska och binära MNIST, OMNIGLOT, Caltech 101 Silhouettes, Frey Faces och Histopatology patchs, och visar att tillämpandet av den hierarkiska VampPrior levererar toppmoderna resultat på alla datauppsättningar i den oövervakade permutationsinvarianta inställningen och de bästa resultaten eller jämförbara med SOTA-metoder för metoden med konvolutionella nätverk.
VampPrior REF föreslår att man konstruerar föregångaren som en blandning av variationsbaksidorna över en lärd uppsättning pseudoingångar.
VAE with a VampPrior
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}