Djuplärande modeller kan ta veckor att träna på en enda GPU-utrustad maskin, nödvändig skalning DL utbildning till en GPU-kluster. Nuvarande distribuerade DL-implementationer kan dock skala dåligt på grund av betydande parametersynkronisering över nätverket, eftersom den höga genomströmningen av GPU:er gör det möjligt att behandla fler datamängder per tidsenhet än processorer, vilket leder till mer frekvent nätverkssynkronisering. Vi presenterar Poseidon, en effektiv kommunikationsarkitektur för distribuerad DL på GPU. Poseidon utnyttjar de skiktade modellstrukturerna i DL-program för att överlappa kommunikation och beräkning, vilket minskar sprucken nätverkskommunikation. Dessutom använder Poseidon ett hybridkommunikationssystem som optimerar antalet byte som krävs för att synkronisera varje lager, beroende på lageregenskaper och antalet maskiner. Vi visar att Poseidon är tillämplig på olika DL-ramverk genom att koppla Poseidon till Caffe och TensorFlow. Vi visar att Poseidon gör det möjligt för Caffe och TensorFlow att uppnå 15,5x hastighetsökning på 16 enkel-GPU-maskiner, även med begränsad bandbredd (10GbE) och det utmanande VGG19-22K-nätverket för bildklassificering. Dessutom uppnår Poseidon-aktiverad TensorFlow 31,5x speed-up med 32 single-GPU maskiner på Inception-V3, en 50% förbättring jämfört med öppen källkod TensorFlow (20x speed-up).
I REF införs ett system för hybridkommunikation för att minska kommunikationskostnaderna för gradientsynkronisering.
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}