Vi ser på problemet med att träna generativa modeller med ett Generativt kontradiktoriskt nätverk (GAN). Även om GANs exakt kan modellera komplexa distributioner, är de kända för att vara svåra att träna på grund av instabilitet som orsakas av ett svårt minimax optimeringsproblem. I detta dokument ser vi problemet med att utbilda GAN som att hitta en blandad strategi i ett nollsummespel. Med utgångspunkt i idéer från online-lärande föreslår vi en ny utbildningsmetod som heter Chechov GAN 1. På teorisidan visar vi att vår metod konvergerar till en jämvikt för semi-shallow GAN-arkitekturer, d.v.s. arkitekturer där discriminatorn är ett nätverk med ett lager och generatorn är godtycklig. På den praktiska sidan utvecklar vi en effektiv heuristisk ledd av våra teoretiska resultat, som vi tillämpar på vanliga djupa GAN-arkitekturer. På flera verkliga uppgifter uppvisar vår strategi förbättrad stabilitet och prestanda jämfört med vanliga GAN-utbildningar. 1 Vi baserar detta namn på Chechov's gun (dramatiska) princip som säger att varje element i en berättelse måste vara nödvändigt, och irrelevanta element bör tas bort. Analogt, vår Chekhov GAN algoritm introducerar en sekvens av element som så småningom är sammansatta för att ge en generator.
I en mer explicit inställning utformade REF en online-lärande algoritm för att hitta en MNE i GANs under antagandet att discriminatorn är ett enda dolt lager neurala nätverk.
An Online Learning Approach to Generative Adversarial Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}