Även om Generativa Adversarial Networks (Gans) empiriskt har producerat imponerande resultat på lärande komplexa verkliga distributioner, har det senaste arbetet visat att de lider av brist på mångfald eller läge kollaps. Arora et al:s teoretiska arbete. [2] tyder på ett dilemma om GAN:s statistiska egenskaper: kraftfulla diskriminatorer orsakar överexekvering, medan svaga diskriminatorer inte kan upptäcka lägeskollaps. Däremot visar vi i detta dokument att GAN i princip kan lära sig distributioner i Wasserstein avstånd (eller KL-divergens i många fall) med polynom prov komplexitet, om discriminator klassen har stark särskiljande kraft mot den specifika generatorklassen (i stället för mot alla möjliga generatorer). För olika generatorklasser såsom blandning av Gaussians, exponentiella familjer, och invertible och injicive neurala nätverk generatorer, vi utformar motsvarande discriminatorer (som ofta är neurala nät av specifika arkitekturer) sådan att Integral Sannolikhet Metric (IPM) inducerad av discriminators kan bevisas ungefärlig Wasserstein avstånd och / eller KL-divergence. Detta innebär att om utbildningen är framgångsrik, då den inlärda fördelningen är nära den verkliga fördelningen i Wasserstein avstånd eller KL divergens, och därmed inte kan släppa lägen. Våra preliminära experiment visar att på syntetiska datauppsättningar är testet IPM väl korrelerat med KL divergens, vilket tyder på att bristen på mångfald kan orsakas av suboptimalitet i optimering istället för statistisk ineffektivitet.
REF sträcker sig och visar hur man kan lära sig, i Wasserstein avstånd, vissa generator klasser såsom Blandning av Gaussiska, exponentiella familjer, och klasser som genereras av neurala nätverk genom att välja en rätt klass av diskriminerande funktioner.
Approximability of Discriminators Implies Diversity in GANs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}