Vi föreslår en metod av momentalgoritm (MoM) för att träna storskaliga implicita generativa modeller. Moment uppskattning i denna miljö möter två problem: det är ofta svårt att definiera de miljontals ögonblick som behövs för att lära sig modellparametrarna, och det är svårt att avgöra vilka egenskaper som är användbara när man specificerar ögonblick. För att ta itu med den första frågan introducerar vi ett ögonblicksnätverk, och definierar ögonblicken som nätverkets dolda enheter och lutningen av nätverkets utdata med avseende på dess parametrar. För att ta itu med det andra problemet använder vi asymptotic teori för att belysa desiderata för ögonblick -nämligen de bör minimera den asymptotiska variansen av uppskattade modellparametrar - och införa ett mål att lära sig bättre stunder. Den sekvens av mål som skapats av denna metod av Learned Moments (MoLM) kan träna högkvalitativa neurala bildsamlare. På CIFAR-10 visar vi att MoLM-utbildade generatorer uppnår betydligt högre Inception Scores och lägre Fréchet Inception Distanser än de utbildade med gradient straffregulariserade och spektralt normaliserade kontrariska mål. Dessa generatorer också uppnå nästan perfekt Multi-Scale Structural Likhet Scores på CelebA, och kan skapa högkvalitativa prover av 128×128 bilder.
Slutligen, Ravuri et al. Ref föreslog nyligen en metod för att utföra online-inlärning av ögonblicken medan utbildning generatorn.
Learning Implicit Generative Models with the Method of Learned Moments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}