Stochastic Gradient Descent (SGD) är en populär algoritm som kan uppnå toppmodern prestanda på en mängd olika maskininlärningsuppgifter. Flera forskare har nyligen föreslagit system för parallellisering av SGD, men alla kräver prestandaförstörande minneslåsning och synkronisering. Detta arbete syftar till att visa med hjälp av ny teoretisk analys, algoritmer och genomförande att SGD kan genomföras utan låsning. Vi presenterar ett uppdateringsprogram som heter Hogwild! vilket ger processorer tillgång till delat minne med möjlighet att skriva över varandras arbete. Vi visar att när de tillhörande optimeringsproblemen är glesa, vilket innebär att de flesta gradientuppdateringar bara ändrar små delar av beslutsvariabeln, då Hogwild! Uppnåendet av en nästan optimal konvergensgrad. Vi demonstrerar experimentellt att Hogwild! överträffar alternativa system som använder låsning i storleksordning.
Hungwild! REF ) är ett låsfritt genomförande av parallell SGD som kan uppnå en nästan optimal konvergensnivå för vissa problem.
HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}