....................................... På grund av sin koppling till generativa kontradiktoriska nätverk (GAN) har sadel-point problem nyligen väckt stort intresse för maskininlärning och bortom. De flesta teoretiska garantierna kretsar av nödvändighet kring konvexa (eller till och med linjära) problem, men att göra teoretiska ingångar mot e ektiv GAN-utbildning beror i hög grad på att gå bortom detta klassiska ramverk. För att göra bitvis framsteg längs dessa linjer, analyserar vi beteendet av spegel nedstigning (MD) i en klass av icke-monotona problem vars lösningar sammanfaller med de av en naturligt tillhörande variationell ojämlikhet - en egenskap som vi kallar sammanhållning. Vi rst visar att vanliga, "vanilla" MD konvergerar under en strikt version av detta villkor, men inte annars; i synnerhet, det kan misslyckas med att konvergera även i tvåradiga modeller med en unik lösning. Vi visar sedan att denna deciency mildras av optimism: genom att ta ett "extra-gradient" steg konvergerar optimistisk spegelnedstigning (OMD) i alla sammanhängande problem. Vår analys generaliserar och förlänger resultaten av Daskalakis et al. ( ) för optimistisk lutning nedstigning (OGD) i bilinjära problem, och gör konkreta framsteg för att bevisa konvergens bortom konvex-konkav spel. Vi tillhandahåller också stokastiska analoger av dessa resultat, och vi validerar vår analys genom numeriska experiment i ett brett utbud av GAN-modeller (inklusive Gaussiska blandningsmodeller, och CelebA och CIFAR-dataset).
Författarna till REF analyserade konvergensen/divergensen av spegelnedstigning och optimistiska spegelnedstigningsmetoder för att lösa ett icke-konvext icke-konkav sadel-punkt problem.