Abstrakt. Vi fokuserar på problemet med att minimera summan av smidiga komponentfunktioner (där summan är starkt konvex) och en icke-smooth konvex funktion, som uppstår i legaliserad empirisk riskminimering i maskininlärning och distribuerad begränsad optimering i trådlösa sensornätverk och smarta nät. Vi överväger att lösa detta problem med hjälp av den proximala inkrementella aggregerade gradienten (PIAG) metod, som vid varje iteration rör sig längs en aggregerad gradient (formad genom gradvis uppdatering gradienter av komponentfunktioner enligt en deterministisk ordning) och tar ett proximalt steg med avseende på den icke-smooth funktion. Medan konvergensegenskaperna hos denna metod med randomiserade order (i uppdatering gradienter av komponentfunktioner) har undersökts, är detta dokument, så vitt vi vet, den första studien som fastställer konvergenstalegenskaperna hos PIAG-metoden för varje deterministisk ordning. I synnerhet visar vi att PIAG algoritmen är globalt konvergerande med en linjär hastighet förutsatt att stegstorleken är tillräckligt liten. Vi identifierar uttryckligen konvergensgraden och motsvarande stegstorlek för att uppnå denna konvergensgrad. Våra resultat förbättras vid det mest kända tillstånd nummerberoendet av konvergenshastigheten av de inkrementella aggregerade gradientmetoder som används för att minimera en summa av smidiga funktioner.
Arbetsreferensdokumentet är den första studien som fastställer en global linjär konvergens för PIAG-metoden vid funktionsfel, dvs. 0(x k ) − 0(x * ), där x * betecknar minimeringspunkten 0(x ).
Global Convergence Rate of Proximal Incremental Aggregated Gradient Methods
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}