Stochastic Gradient Descent (SGD) är mycket användbar för optimeringsproblem med högdimensionella icke-konvexa målfunktioner, och utgör därmed en viktig komponent i flera metoder för maskininlärning och dataanalys. På senare tid har betydande insatser gjorts för att förstå den parallellism som är inneboende i SGD och dess konvergensegenskaper. Asynkron, parallell SGD (AsyncPSGD) har fått särskild uppmärksamhet på grund av observerade prestandafördelar. Å andra sidan innebär asynkroni inneboende utmaningar när det gäller att förstå genomförandet av algoritmen och dess konvergens, som härrör från det faktum att en tråds bidrag kan baseras på en gammal (sägen) syn på staten. I detta arbete strävar vi efter att fördjupa förståelsen av AsyncPSGD för att öka den statistiska effektiviteten i närvaro av gamla gradienter. Vi föreslår nya modeller för att fånga upp åldringsfördelningens karaktär i en praktisk miljö. Med hjälp av de föreslagna modellerna får vi fram ett staleness-adaptive SGD-ramverk, MindTheStep-AsyncPSGD, för att anpassa stegstorleken i en online-fashion, vilket tydligt minskar den negativa effekten av asynkrony. Dessutom ger vi allmänna konvergenstider för en bred klass av staleness-adaptive step size-strategier för konvexa målfunktioner. Vi tillhandahåller också en detaljerad empirisk studie som visar hur vårt tillvägagångssätt innebär snabbare konvergens för djupinlärning.
REF anpassar async-SGM-stegen till stokastisk lutning.
MindTheStep-AsyncPSGD: Adaptive Asynchronous Parallel Stochastic Gradient Descent
{'venue': '2019 IEEE International Conference on Big Data (Big Data)', 'journal': '2019 IEEE International Conference on Big Data (Big Data)', 'mag_field_of_study': ['Computer Science']}