Vi tar upp frågan om begränsning cykling beteende i träning Generative Adversarial Networks och föreslår användningen av Optimistic Mirror Decent (OMD) för träning Wasserstein GANs. Nya teoretiska resultat har visat att optimistisk spegel anständig (OMD) kan njuta av snabbare ångerfrekvenser i samband med nollsummespel. WGANS är precis ett sammanhang för att lösa ett nollsummespel med samtidig noregretdynamik. Dessutom visar vi att optimistisk spegel anständig tar itu med den gräns cykling problem i utbildning WGANs. Vi visar formellt att i fallet med bi-linjära nollsummespel konvergerar den sista iteraten av OMD dynamik till en jämvikt, i motsats till GD dynamik som är bundna till cykeln. Vi skildrar också den enorma kvalitativa skillnaden mellan GD och OMD dynamik med leksak exempel, även när GD modifieras med många anpassningar som föreslås i den senaste litteraturen, såsom lutning straff eller momentum. Vi tillämpar OMD WGAN utbildning på ett bioinformatik problem att generera DNA-sekvenser. Vi observerar att modeller som utbildats med OMD uppnår konsekvent mindre KL divergens med avseende på den verkliga underliggande distributionen, än modeller som utbildats med GD-varianter. Slutligen introducerar vi en ny algoritm, Optimistisk Adam, som är en optimistisk variant av Adam. Vi tillämpar den på WGAN-träning på CIFAR10 och observerar förbättrad prestanda i form av startpoäng jämfört med Adam.
Optimistisk spegel nedstigning ungefär konvergerar i två-spelare bilinjära nollsumme spel REF, ett specialfall av Hamiltonska spel.
Training GANs with Optimism
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}