I detta dokument föreslås divergenstriangeln som en ram för gemensam utbildning av en generatormodell, en energibaserad modell och en slutledningsmodell. Divergenstriangeln är en kompakt och symmetrisk (antisymmetrisk) objektiv funktion som sömlöst integrerar variationslärande, kontrarimalt lärande, wake-sömnalgoritm och kontrasterande divergens i en enhetlig probabilistisk formulering. Denna förening gör processerna för provtagning, slutsatser och energiutvärdering lätt tillgängliga utan behov av kostsamma Markov kedja Monte Carlo metoder. Våra experiment visar att divergenstriangeln är kapabel att lära (1) en energibaserad modell med välformat energilandskap, (2) direkt provtagning i form av ett generatornätverk, och (3) feed-forward-slutsats som troget rekonstruerar observerade såväl som syntetiserade data. Den största sannolikheten för att den energibaserade modellen ska kunna lära sig krävs i förhållande till den nuvarande modellen, medan den maximala sannolikheten för att lära sig av generatormodellen kräver förväntningar på den bakre fördelningen av de latenta variablerna. Båda förväntningarna kan approximeras av MCMC, såsom Gibbs sampling [11], Langevin dynamics, eller Hamiltonian Monte Carlo (HMC) [34]. [31, 48] använde Langevins dynamik för att lära sig de energibaserade modellerna, och [13] använde Langevins dynamik för att lära sig generatormodellen. I båda fallen
På senare tid, en enhetlig divergens triangel ram föreslås för gemensam utbildning av generator modell, energi-baserad modell, och slutsats modell för generativa uppgifter REF.
Divergence Triangle for Joint Training of Generator Model, Energy-Based Model, and Inferential Model
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}