Vi anser konvex-konkava sadel-punkt problem där de objektiva funktionerna kan delas i många komponenter, och förlänga senaste stokastiska varians reduktionsmetoder (såsom SVRG eller SAGA) för att ge de första storskaliga linjärt konvergent algoritmer för denna klass av problem som är vanligt i maskininlärning. Även om den algoritmiska förlängningen är enkel, det kommer med utmaningar och möjligheter: a) konvex minimering analys inte gäller och vi använder begreppet monotona operatörer för att bevisa konvergens, visar i synnerhet att samma algoritm gäller för en större klass av problem, såsom variationella ojämlikheter, b) det finns två begrepp av uppdelningar, i termer av funktioner, eller i termer av partiella derivat, c) uppdelningen behöver göras med konvex-konkav termer, d) icke-uniform provtagning är nyckeln till en effektiv algoritm, både i teori och praktik, och e) dessa inkrementella algoritmer kan lätt påskyndas med hjälp av en enkel utvidgning av "katalysator" ram, vilket leder till en algoritm som alltid är överlägsen accelererade batch algoritmer.
REF föreslog stokastiska variansreducerande metoder för att lösa en familj av sadel-punkt problem.
Stochastic Variance Reduction Methods for Saddle-Point Problems
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}