Vi studerar problemet med stokastisk optimering för djupinlärning i den parallella datormiljön under kommunikationsbegränsningar. En ny algoritm föreslås i denna miljö där kommunikationen och samordningen av arbetet mellan samtidiga processer (lokala arbetstagare), bygger på en elastisk kraft som kopplar de parametervektorer de beräknar med en centervariabel som lagras av parameterservern (master). Algoritmen gör det möjligt för de lokala arbetarna att utföra mer prospektering, dvs. algoritmen gör det möjligt för de lokala variablerna att fluktuera längre från centervariabeln genom att minska mängden kommunikation mellan lokala arbetare och befälhavaren. Vi visar empiriskt att i den djupa inlärningsmiljön, på grund av förekomsten av många lokala optima, tillåter mer utforskande kan leda till bättre prestanda. Vi föreslår synkrona och asynkrona varianter av den nya algoritmen. Vi tillhandahåller den teoretiska analysen av den synkrona varianten i det kvadratiska fallet och bevisar att den uppnår den högsta möjliga asymptotiska konvergenshastigheten för mittvariabeln. Vi föreslår dessutom den momentumbaserade versionen av algoritmen som kan tillämpas i både synkrona och asynkrona inställningar. En asynkron variant av algoritmen tillämpas för att träna konvolutionella neurala nätverk för bildklassificering på CIFAR och ImageNet dataset. Experiment visar att den nya algoritmen påskyndar utbildningen av djupa arkitekturer jämfört med downpour och andra gemensamma baslinjestrategier och dessutom är mycket kommunikationseffektiv.
Motiverad av utbildning av storskaliga konvolutionella neurala nätverk för bildklassi katjon, Elastisk medelvärde SGD (EASD) REF minskar mängden kommunikation mellan lokala arbetare och befälhavaren för att låta parametrarna för lokala arbetare att ukuera längre från centrum.
Deep learning with Elastic Averaging SGD
{'venue': 'NIPS 2015', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}