Decentraliserad optimering är ett lovande paradigm som finner olika tillämpningar inom ingenjörsvetenskap och maskininlärning. I detta arbete studeras decentraliserade kompositoptimeringsproblem med en icke-smooth legaliseringsterm. De flesta befintliga gradientbaserade proximala decentraliserade metoder visas konvergera till den önskade lösningen med sublinjära hastigheter, och det är fortfarande oklart hur man kan bevisa linjär konvergens för denna familj av metoder när den objektiva funktionen är starkt konvex. För att ta itu med detta problem anser detta arbete att den icke-smooth legalisering termen är gemensam för alla nätverksagenter, vilket är fallet för de flesta centraliserade maskininlärning implementationer. Under detta scenario designar vi en proximal gradient decentraliserad algoritm vars fasta punkt sammanfaller med önskad minimering. Vi ger sedan ett koncist bevis som fastställer dess linjära konvergens. I avsaknad av den icke-smooth termen täcker vår analysteknik några välkända decentraliserade algoritmer som EXTRA [1] och DIGing [2].
Med utgångspunkt i Ref utvidgar vi dessutom denna ram för att hantera den icke-smooth termen R(w) och visa linjär konvergens av den föreslagna metoden i närvaro av den icke-smooth termen.
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}