I detta dokument studeras ett märkligt fenomen när det gäller att lära sig energibaserad modell (EBM) med hjälp av MCMC. I varje lärande iteration, genererar vi syntetiserade exempel genom att köra en icke-konvergent, icke-mixing, och icke-beständig kort-run MCMC mot den nuvarande modellen, alltid från samma ursprungliga distribution såsom enhetlig bullerfördelning, och alltid köra ett fast antal MCMC steg. Efter att ha genererat syntetiserade exempel uppdaterar vi sedan modellparametrarna enligt maximal sannolikhet för inlärningsgradient, som om de syntetiserade exemplen är rättvisa prov från den nuvarande modellen. Vi behandlar denna icke-konvergent kort kör MCMC som en lärd generator modell eller en flödesmodell, med den ursprungliga bilden fungerar som latenta variabler, och kassera den lärda EBM. Vi ger argument för att behandla den lärda icke-konvergent kortkörning MCMC som en giltig modell. Vi visar att den lärda korta MCMC kan generera realistiska bilder. Till skillnad från traditionella EBM eller MCMC kan den lärda korta MCMC också rekonstruera observerade bilder och interpolera olika bilder, som generatormodell eller flödesmodell. Koden finns i tillägget.
REF visar att det är möjligt att lära sig kortsiktiga MCMC såsom 100-stegs Langevin dynamik som kan generera bilder av hög synteskvalitet, och de motiverar lärande kortsiktiga MCMC som en giltig flödesliknande modell.
Learning Non-Convergent Non-Persistent Short-Run MCMC Toward Energy-Based Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}