Skalan av moderna dataset kräver utveckling av effektiva distribuerade optimeringsmetoder för maskininlärning. Vi presenterar en allmän ram för den distribuerade miljön, CoCoA, som har ett effektivt kommunikationssystem och är tillämplig på en mängd olika problem inom maskininlärning och signalbehandling. Vi utökar ramen för att täcka allmänna icke-starkt konvexa regularizers, inklusive L1-regulariserade problem som lasso, gles logistisk regression, och elastisk nätreglering, och visa hur tidigare arbete kan härledas som ett specialfall. Vi ger konvergensgarantier för klassen av konvex regulariserade förlustminimering mål, utnyttja en ny metod för att hantera icke-starkt konvexa regularizers och icke-smooth förlustfunktioner. Det resulterande ramverket har märkbart förbättrat prestandan jämfört med de senaste metoderna, vilket vi illustrerar med en omfattande uppsättning experiment på verkliga distribuerade datauppsättningar.
Förutom att REF utvidgade ramen till att omfatta allmänna icke-starkt konvexa regularizers, såsom L 1 regularizer.
CoCoA: A General Framework for Communication-Efficient Distributed Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}