Vi studerar problemet med att hitta min-max lösningar för smidiga två-input objektiva funktioner. Även om klassiska resultat visar genomsnittliga frekvenskonvergenstal för olika algoritmer, kräver icke-konvexa tillämpningar såsom utbildning Generativa Adversarial Networks konvergensgarantier som är svårare att bevisa. Det har varit ett öppet problem om huruvida någon algoritm uppnår icke-asymptotisk sista-itrate konvergens i miljöer bortom de bilinjära och konvex-starkt konkava inställningar. I denna uppsats studerar vi den HAMILTONISKA GRADIENTDESCENT-algoritmen (HGD), och vi visar att HGD uppvisar en linjär konvergenshastighet i en mängd mer allmänna inställningar, inklusive konvexa konkava-inställningar som är "tillräckligt bilinjära". Vi visar också liknande konvergensnivåer för Consensus Optimization (CO) algoritm av [MNG17] för vissa parameterinställningar av CO.
Ref visade nyligen den linjära konvergensen av en andra ordningens iterativ algoritm, kallad Hamiltonian gradient nedstigning (HGD), för en underklass av "tillräckligt bilineära" funktioner.
Last-iterate convergence rates for min-max optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}