I detta arbete introducerar vi en ny optimeringsmetod kallad SAGA i anda av SAG, SDCA, MISO och SVRG, en uppsättning nyligen föreslagna inkrementella gradientalgoritmer med snabb linjär konvergens. SAGA förbättrar teorin bakom SAG och SVRG, med bättre teoretisk konvergens, och har stöd för sammansatta mål där en proximal operatör används på regularizern. Till skillnad från SDCA, SAGA stöder icke-starkt konvexa problem direkt, och är anpassningsbar till alla inneboende stark konvexitet av problemet. Vi ger experimentella resultat som visar hur effektiv vår metod är.
Nyligen, Defazio et al. föreslå Saga REF, en snabb inkrementell gradient metod i andan av Sag och Svrg.
SAGA: A Fast Incremental Gradient Method With Support for Non-Strongly Convex Composite Objectives