Generativa kontradiktoriska nätverk (GAN) är en familj av generativa modeller som inte minimerar ett enda utbildningskriterium. Till skillnad från andra generativa modeller lär sig datadistributionen via ett spel mellan en generator (generativ modell) och en discriminator (en lärare som ger träningssignal) som var och en minimerar sin egen kostnad. GAN är utformade för att nå en Nash jämvikt där varje spelare inte kan minska sina kostnader utan att ändra de andra spelarnas parametrar. Ett användbart tillvägagångssätt för GAN-teorin är att visa att en skillnad mellan utbildningsdistributionen och modelldistributionen får sitt lägsta värde vid jämvikt. Flera nya forskningsinriktningar har motiverats av tanken att denna skillnad är den primära vägledningen för inlärningsprocessen och att varje steg i lärandet bör minska skillnaderna. Vi visar att denna uppfattning är alltför restriktiv. Under GAN-träningen ger discriminatorn inlärningssignal i situationer där gradienterna för skillnaderna mellan fördelningarna inte skulle vara användbara. Vi ger empiriska motexempel till synen på GAN-utbildning som divergensminimering. Särskilt visar vi att GAN kan lära sig distributioner i situationer där divergensminimeringssynpunkten förutspår att de skulle misslyckas. Vi visar också att gradientsanktioner motiverade ur divergensminimeringsperspektivet är lika användbara när de tillämpas i andra sammanhang där divergensminimeringsperspektivet inte förutsäger att de skulle vara till hjälp. Detta bidrar till en växande kropp av bevis för att GAN utbildning kan vara mer användbart som närmar Nash equilibria via banor som inte nödvändigtvis minimerar en specifik divergens vid varje steg. * Lika lön.
REF hävdade också att skillnader inte är den primära vägledningen för utbildning av GAN.
Many Paths to Equilibrium: GANs Do Not Need to Decrease a Divergence At Every Step
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}