Trots deras växande betydelse är optimering i generativa kontrariska nätverk (Gans) fortfarande ett dåligt underförstått ämne. I detta papper analyserar vi formen av GAN-optimering (dvs. den naturliga inställningen där vi samtidigt tar små gradientsteg i både generator- och diskriminatorparametrar). Vi visar att även om GAN-optimering inte motsvarar ett konvext konkavspel, även för enkla parameteriseringar, under korrekta förhållanden, är jämviktspunkter i denna optimeringsprocess fortfarande lokalt asymptotiskt stabila för den traditionella GAN-formuleringen. Å andra sidan visar vi att den nyligen föreslagna Wasserstein GAN kan ha icke-konvergenta gränscykler nära jämvikt. Motiverade av denna stabilitetsanalys, föreslår vi en ytterligare legalisering term för gradient nedstigning GAN uppdateringar, som kan garantera lokal stabilitet för både WGAN och för den traditionella GAN, och också visar praktiska löften om att påskynda konvergens och adresserande läge kollaps. Vi presenterar nu systemets jakobin i jämvikt i närvaro av gradientstraffet. Kom ihåg att påföljden i grund och botten lägger till en extra − - Lemma F.1. - Vad är det? - Lemma F.1. För det dynamiska system som definieras av GAN-målet i ekvation 3 och uppdateringarna i ekvation 5, Jacobian vid en jämviktspunkt ( på D, G ), enligt antagandena I och IV är: där J DD och J DG är termer i Jacobian som motsvarar de ursprungliga uppdateringarna, som beskrivs i Theorem 3.1. Bevis. Observera att den enda förändringen till Jacobian skulle vara i raderna som motsvarar generatorparametrarna. Därför kommer vi bara att fokusera på de ytterligare villkoren i dessa rader.
När det gäller stabiliteten i GAN algoritmer, REF bevisar att GDA algoritmen kommer att vara lokalt stabil för vanilj och legaliserade Wasserstein GAN problem.
Gradient descent GAN optimization is locally stable
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}