Med den snabba utvecklingen av djupt lärande har det blivit vanligt att lära sig stora neurala nätverk med hjälp av massiva träningsdata. Asynkron Stochastic Gradient Descent (ASGD) är allmänt antagen för att uppfylla denna uppgift för dess effektivitet, som dock är känd för att lida av problemet med fördröjda gradienter. Det vill säga, när en lokal arbetare lägger sin lutning till den globala modellen, kan den globala modellen ha uppdaterats av andra arbetare och denna lutning blir "fördröjd". Vi föreslår en ny teknik för att kompensera denna fördröjning, för att göra optimering beteendet hos ASGD närmare den sekventiella SGD. Detta uppnås genom att utnyttja Taylor expansion av gradientfunktionen och effektiv approximation till den hessiska matrisen av förlustfunktionen. Vi kallar den nya algoritmen Delay Compensated ASGD (DC-ASGD). Vi utvärderade den föreslagna algoritmen på CIFAR-10 och ImageNet dataset, och de experimentella resultaten visar att DC-ASGD överträffar både synkron SGD och asynkron SGD, och närmar sig nästan prestandan för sekventiell SGD.
I asynkron parallemiljö föreslog Ref Fördröjt kompenserad ASGD (DC-ASGD) för att kompensera fördröjningen av lutningen.
Asynchronous Stochastic Gradient Descent with Delay Compensation
{'venue': 'International Conference on Machine Learning. 2017: 4120-4129', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}