Generativa Adversarial Networks (Gans) har nyligen föreslagits som en lovande väg mot lärande generativa modeller med djupa neurala nätverk. Även om GAN har visat den senaste prestandan på flera visioner, är deras inlärningsdynamik ännu inte väl förstådd, både i teorin och i praktiken. För att ta itu med denna fråga tar vi ett första steg mot en rigorös studie av GAN-dynamiken. Vi föreslår en enkel modell som uppvisar flera av de gemensamma problematiska konvergensbeteenden (t.ex., försvinnande lutning, läge kollaps, divergerande eller oscillerande beteende) och fortfarande tillåter oss att fastställa de första konvergensgränserna för parametrisk GAN dynamik. Vi finner en intressant dikotomi: en GAN med en optimal discriminator konvergerar, medan en första order approximation av discriminatorn leder till instabil GAN dynamik och läge kollaps. Vår modell och analys pekar på en specifik utmaning i praktisk GAN-utbildning som vi kallar diskrimineringskollaps. Generativa kontradiktoriska nätverk beskrivs vanligen som ett tvåspel [10]. Med tanke på en sann distribution P, en uppsättning generatorer G = {G u, U }, en uppsättning diskriminatorer D = {D v, v  på V}, och en
En förenklad GMM-GAN används för att teoretiskt visa att den optimala discriminator dynamiken kan konvergera till marken sanning i total variation avstånd, medan en första ordning approximation av discriminatorn leder till instabil GAN dynamik och läge kollapsar REF.
Towards Understanding the Dynamics of Generative Adversarial Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}