Vi introducerar en ny generativ modell där prover produceras via Langevin dynamik med hjälp av gradienter av datadistributionen uppskattas med poäng matchning. Eftersom gradienter kan vara dåligt definierade när data finns på lågdimensionella grenrör, vi perturb data med olika nivåer av Gaussian buller och gemensamt uppskatta motsvarande poäng, dvs vektorfält av gradienter i den perturbed datafördelning för alla bullernivåer. För provtagning föreslår vi en glödgad Langevindynamik där vi använder lutningar som motsvarar gradvis minskande bullernivåer när provtagningsprocessen närmar sig datagrenröret. Vårt ramverk möjliggör flexibla modellarkitekturer, kräver ingen provtagning under utbildningen eller användning av kontradiktoriska metoder, och ger ett inlärningsmål som kan användas för principiella modelljämförelser. Våra modeller producerar prover jämförbara med GANs på MNIST, CelebA och CIFAR-10 dataset, vilket ger en ny startstatus på 8,91 på CIFAR-10. Dessutom visar vi att våra modeller lär sig effektiva representationer via bildinmålningsexperiment.
I det samtidiga arbetet formulerar REF en generativ modell med hjälp av Langevins dynamik baserad på uppskattning av gradienter av datadistributionen via poängmatchning, vilket också kräver ett iterativt provtagningsförfarande och kan ta prover på datatätheten exakt endast asymptotiskt.
Generative Modeling by Estimating Gradients of the Data Distribution
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}