Det senaste arbetet visar att decentraliserad parallell stokastisk lutning anständig (D-PSD) kan överträffa sin centraliserade motsvarighet både teoretiskt och praktiskt. Medan asynkron parallellism är en kraftfull teknik för att förbättra effektiviteten av parallellism i distribuerade maskininlärningsplattformar och har använts i många populära maskininlärning programvaror och lösare baserat på centraliserade parallella protokoll såsom Tensorflow, är det fortfarande oklart hur man tillämpar asynkron parallellism för att förbättra effektiviteten av decentraliserade parallella algoritmer. Detta dokument föreslår en asynkron decentralisera parallell stokastisk lutning nedstigning algoritm för att tillämpa asynkron parallellism teknik för decentraliserade algoritmer. Vår teoretiska analys ger konvergenshastigheten eller motsvarande den beräkningsmässiga komplexiteten, vilket är förenligt med många specialfall och indikerar att vi kan uppnå fin linjär upphastighet när vi ökar antalet noder eller batchstorlek. Omfattande experiment i djupinlärning validerar den föreslagna algoritmen. * xiangru@yandex.com
Den asynkrona varianten av D-PSGD studeras i REF.
Asynchronous Decentralized Parallel Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}