Generativa kontradiktoriska nätverk (GAN) har blivit populära för att generera data som efterliknar observationer genom att lära sig en lämplig variabel omvandling från en slumpmässig variabel. Men empiriskt sett är det känt att GAN lider av instabilitet. Den teori som ges baserat på minimax optimering formulering av GAN kan inte förklara den allmänt använda praktiska förfarande som använder den så kallade logd trick. Detta dokument ger en annan teoretisk grund för generativa kontradiktoriska metoder som inte är beroende av minimax-formuleringen. Vi visar att med en stark discriminator, är det möjligt att lära sig en bra variabel omvandling via funktionell gradient lärande, som uppdaterar den funktionella definitionen av en generator modell, i stället för att uppdatera endast modellparametrar som i GAN. Teorin garanterar att den lärda generatorn förbättrar KL-divergensen mellan sannolikhetsfördelningen av verkliga data och genererade data efter varje funktionell gradientsteg, tills KL-divergensen konvergerar till noll. Denna nya synvinkel leder till förbättrade stabila förfaranden för utbildning generativa modeller som kan använda godtyckliga lärande algoritmer. Det ger också en ny teoretisk inblick i den ursprungliga GAN-proceduren både med och utan det loggade tricket. Empiriska resultat visas på bildgenerering för att illustrera effektiviteten i vår nya metod.
REF föreslår en CFG-GAN som direkt minimerar KL-skillnaden via funktionell lutnings nedstigning.
Composite Functional Gradient Learning of Generative Adversarial Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}