Mycket distribuerad utbildning av Deep Neural Networks (DNN) på framtida beräkningsplattformar (som erbjuder 100 TeraOps/s av beräkningskapacitet) förväntas vara kraftigt kommunikationsbegränsad. För att övervinna denna begränsning behövs nya gradientkompression tekniker som är beräkningsvänliga, tillämpliga på en mängd olika lager sett i Deep Neural Networks och anpassningsbara till variationer i nätverksarkitekturer samt deras hyper-parametrar. I detta dokument introducerar vi en ny teknik - Adaptive Residual Gradient Compression (AdaComp) Scheme. AdaComp baseras på lokaliserat urval av gradientrester och justerar automatiskt komprimeringshastigheten beroende på lokal aktivitet. Vi visar utmärkta resultat på ett brett spektrum av toppmoderna Deep Learning modeller i flera domäner (vision, tal, språk), datauppsättningar (MNIST, CIFAR10, ImageNet, BN50, Shakespeare), optimeringar (SGD med momentum, Adam) och nätverksparametrar (antal elever, minibatch-storlek etc.). Utnyttja både sparhet och kvantisering, visar vi end-to-end kompressionshastigheter på 200× för fullt anslutna och återkommande lager, och  på 40× för konvolutionella lager, utan någon märkbar nedbrytning i modell accuracies.
AdaComp Ref föreslår att komprimeringshastigheten automatiskt justeras beroende på lokal gradientaktivitet.
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}