Under utbildningen av en maskininlärningsmodell med hjälp av flera arbetstagare, som var och en samlar in data från sina egna datakällor, skulle det vara mest användbart när de data som samlas in från olika arbetstagare kan vara unika och olika. Ironiskt nog bygger den senaste analysen av decentraliserad parallell stokastisk lutningsnedstigning (D-PSD) på antagandet att de data som finns hos olika arbetstagare inte är alltför olika. I denna artikel ställer vi frågan: Kan vi utforma en decentraliserad parallell stokastisk lutningsnedstigningsalgoritm som är mindre känslig för datavariansen mellan arbetare? I detta papper presenterar vi D 2, en ny decentraliserad parallell stokastisk lutning nedstigning algoritm utformad för stora data varians bland arbetare (imprekt, "decentraliserad" data). Kärnan i D 2 är en variationsminskning utvidgning av standard D-PSGD algoritm, vilket förbättrar konvergensen från O där 2 betecknar variansen mellan data på olika arbetstagare. Som ett resultat, D 2 är robust till data variansen bland arbetstagare. Vi utvärderade empiriskt D 2 om bildklassificeringsuppgifter där varje arbetstagare endast har tillgång till data från en begränsad uppsättning etiketter, och finner att D 2 avsevärt överträffar D-PSD.
D 2 REF algoritmen tillämpar ytterligare variansminskningen på icke-konvexa stokastiska decentraliserade optimeringsproblem och tar bort effekten av gradientvariansen bland arbetstagare på konvergenshastigheten.
D$^2$: Decentralized Training over Decentralized Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}