De flesta distribuerade maskininlärningssystem nuförtiden, inklusive TensorFlow och CNTK, är byggda på ett centraliserat sätt. En flaskhals av centraliserade algoritmer ligger på höga kommunikationskostnader på den centrala noden. Motiverade av detta, frågar vi, kan decentraliserade algoritmer vara snabbare än dess centraliserade motsvarighet? Även om decentraliserade PSGD-algoritmer (D-PSGD) har studerats av kontrollgruppen, visar befintlig analys och teori inte någon fördel jämfört med centraliserade PSGD-algoritmer (C-PSGD), helt enkelt om man antar tillämpningsscenariot där endast det decentraliserade nätverket är tillgängligt. I denna uppsats studerar vi en D-PSGD-algoritm och ger den första teoretiska analysen som indikerar en regim där decentraliserade algoritmer kan överträffa centraliserade algoritmer för distribuerad stokastisk lutning nedstigning. Detta beror på att D-PSGD har jämförbar total beräkningskomplexitet med C-PSGD men kräver mycket lägre kommunikationskostnader på den mest trafikerade noden. Vi genomför vidare en empirisk studie för att validera vår teoretiska analys över flera ramverk (CNTK och Torch), olika nätverkskonfigurationer och beräkningsplattformar upp till 112 GPU. På nätverkskonfigurationer med låg bandbredd eller hög latens kan D-PSGD vara upp till en storleksordning snabbare än dess väloptimerade centraliserade motsvarigheter.
Ett nyligen utfört arbete visar att decentraliserade algoritmer kan överträffa den centraliserade motsvarigheten för distribuerad utbildning REF.
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}