Storskalig distribuerad utbildning kräver betydande kommunikationsbandbredd för gradientutbyte som begränsar skalbarheten av multi-node utbildning, och kräver dyra högbandsbredd nätverk infrastruktur. Situationen blir ännu värre med distribuerad utbildning på mobila enheter (federerad inlärning), som lider av högre latens, lägre genomströmning och intermittenta dåliga anslutningar. I detta dokument finner vi 99,9% av gradientutbytet i distribuerad SGD är överflödiga, och föreslår Deep Gradient Compression (DGC) för att kraftigt minska kommunikationsbandbredden. För att bevara noggrannheten under denna kompression använder DGC fyra metoder: momentumkorrigering, lokal gradientklippning, momentumfaktormaskering och uppvärmningsträning. Vi har tillämpat Deep Gradient Compression på bildklassificering, taligenkänning och språkmodellering med flera datauppsättningar inklusive Cifar10, ImageNet, Penn Treebank och Librispeech Corpus. På dessa scenarier, Deep Gradient Compression uppnår en lutning kompressionsförhållande från 270× till 600× utan att förlora noggrannhet, skära lutningen storlek ResNet-50 från 97MB till 0,35MB, och för DeepSpeech från 488MB till 0.74MB. Djup gradientkompression möjliggör storskalig distribuerad utbildning på billig råvara 1Gbps Ethernet och underlättar distribuerad utbildning på mobil.
Lin m.fl. föreslå djup gradient kompression algoritm, utnyttja momentum korrigering, gradient klippning, momentum faktor maskering, och uppvärmning utbildning för att uppnå högre sparhet utan att förlora noggrannhet REF.
Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
{'venue': 'ICLR 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}