Generativa Adversarial Networks (Gans) är kraftfulla generativa modeller, men lider av utbildning instabilitet. Den nyligen föreslagna Wasserstein GAN (WGAN) gör framsteg mot stabil utbildning av GANs, men kan fortfarande generera låg kvalitet prover eller misslyckas med att konvergera i vissa miljöer. Vi finner att dessa problem beror ofta på användningen av vikt klippning i WGAN för att genomdriva en Lipschitz begränsning på kritikern, vilket kan leda till patologiskt beteende. Vi föreslår ett alternativ till att klippa vikter: bestraffa normen av lutning av kritiker med avseende på dess input. Vår föreslagna metod fungerar bättre än standard WGAN och möjliggör stabil träning av ett brett utbud av GAN arkitekturer med nästan ingen hyperparameter inställning, inklusive 101-lager ResNets och språkmodeller över diskreta data. Vi uppnår också högkvalitativa generationer på CIFAR-10 och LSUN sovrum.
I stället för att klippa vikterna, Gulrajani et al. REF förbättrar utbildningens stabilitet och prestanda för WGAN genom att bestraffa normen för de kritiska gradienterna med avseende på dess input.
Improved Training of Wasserstein GANs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}