Motiverad av tillämpningar i optimering, spelteori och utbildning av Generativa Adversarial Networks har konvergensegenskaperna hos första ordermetoder i min-max problem fått omfattande studie. Man har insett att de kan cykla, och det finns ingen god förståelse för deras gränspunkter när de inte gör det. När de konvergerar, konvergerar de till lokala minmax-lösningar? Vi karakteriserar gränserna för två grundläggande första ordningen metoder, nämligen Gradient Descent/Ascent (GDA) och Optimistisk Gradient Descent Ascent (OGDA). Vi visar att båda dynamikerna undviker instabila kritiska punkter för nästan alla initieringar. Dessutom, för små steg storlekar och under milda antaganden, uppsättningen {OGDA}-stabila kritiska punkter är en superuppsättning av {GDA}-stabila kritiska punkter, som är en superuppsättning av lokala min-max lösningar (begränsa i vissa fall). Den anslutande tråden är att beteendet hos denna dynamik kan studeras ur ett dynamiskt systemperspektiv.
I ett senare arbete, Daskalakis et al. REF analyserade gränspunkterna för lutningen nedstigning och OMD, och visade att gränspunkterna för OMD är en superuppsättning av alternerande lutning nedstigning.
The Limit Points of (Optimistic) Gradient Descent in Min-Max Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}