Generativa Adversarial Networks (Gans) är kraftfulla generativa modeller, men lider av utbildning instabilitet. Den nyligen föreslagna Wasserstein GAN (WGAN) gör framsteg mot stabil utbildning av GANs, men kan fortfarande generera låg kvalitet prover eller misslyckas med att konvergera i vissa miljöer. Vi finner att dessa problem beror ofta på användningen av vikt klippning i WGAN för att genomdriva en Lipschitz begränsning på kritikern, vilket kan leda till patologiskt beteende. Vi föreslår ett alternativ till att klippa vikter: bestraffa normen av lutning av kritiker med avseende på dess input. Vår föreslagna metod fungerar bättre än standard WGAN och möjliggör stabil träning av ett brett utbud av GAN arkitekturer med nästan ingen hyperparameter inställning, inklusive 101-lager ResNets och språkmodeller över diskreta data. Vi uppnår också högkvalitativa generationer på CIFAR-10 och LSUN sovrum.
Ett alternativ till vikt klippning är att straffa normen i lutningen av kritiker nätverket REF, som har visat sig förbättra stabiliteten i utbildning Wasserstein GANs.
Improved Training of Wasserstein GANs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}