Generativa kontradiktoriska nätverk (Gans) kan tolkas som ett kontradiktoriskt spel mellan två spelare, en discriminator D och en generator G, där D lär sig att klassificera verkliga från falska data och G lär sig att generera realistiska data genom att "spola" D till att tänka att falska data är faktiskt verkliga data. För närvarande är en dominerande åsikt att G faktiskt lär sig genom att minimera en divergens med tanke på att den allmänna objektiva funktionen är en divergens när D är optimal. Denna uppfattning har dock ifrågasatts på grund av inkonsekvenser mellan teori och praktik. I denna uppsats diskuterar vi de egenskaper som är förknippade med de flesta förlustfunktioner för G (t.ex. mättnad/omättande f-GAN, LSGAN, WGAN, etc.). Vi visar att dessa förlustfunktioner inte är skillnader och inte har samma jämvikt som förväntat av skillnader. Detta tyder på att G inte behöver minimera samma objektiva funktion som D maximera, eller maximera målet med D efter byte av verkliga data med falska data (icke-mättande GAN) men kan istället använda ett brett utbud av möjliga förlustfunktioner för att lära sig att generera realistiska data. Vi definierar GAN genom två separata och oberoende D maximisering och G minimisering steg. Vi generaliserar generatorn steg till fyra nya klasser av förlustfunktioner, varav de flesta är faktiska avvikelser (även om traditionella G förlust funktioner inte är). Vi testar ett brett utbud av förlustfunktioner från dessa fyra klasser på ett syntetiskt dataset och på CIFAR-10. Vi observerar att de flesta förlustfunktioner konvergerar väl och ger jämförbar datagenerering kvalitet till icke-mättande GAN, LSGAN, och WGAN-GP generator förlustfunktioner, oavsett om vi använder avvikelser eller icke-divergenser. Dessa resultat tyder på att GAN inte överensstämmer väl med divergensminimeringsteorin och bildar ett mycket bredare utbud av modeller än vad som tidigare antagits.
En teori för instabiliteten är att generatorn faktiskt inte kan minimera Jenson-Shannon divergensen mellan den genererade datadistributionen och den ursprungliga datadistributionen REF.
GANs beyond divergence minimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}