Distribuerade optimeringsalgoritmer för storskalig maskininlärning lider av en kommunikations flaskhals. Minskad kommunikation gör det effektiva aggregatet av delarbeten från olika maskiner mer utmanande. I detta dokument presenterar vi en ny generalisering av den senaste tidens kommunikation, en effektiv grundläggande samordningsram (COCOA). Vårt ramverk, COCOA +, möjliggör additiv kombination av lokala uppdateringar av de globala parametrarna vid varje iteration, medan tidigare system bara tillät konservativa medelvärden. Vi ger starkare (primal-dual) konvergensgarantier för både COCOA och våra nya varianter, och generaliserar teorin för båda metoderna för att även täcka icke-smooth konvexa förlustfunktioner. Vi erbjuder en omfattande experimentell jämförelse på flera verkliga distribuerade dataset, som visar markant förbättrad prestanda, särskilt vid uppskalning av antalet maskiner.
CoCoA+ använder endast första orderinformation, och den ursprungliga dubbla konvergensen har bevisats för både smidiga och allmänna konvexa (L-Lipschitz) förlustfunktioner REF.
Adding vs. Averaging in Distributed Primal-Dual Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}