Abstract-Det är oundvikligt att träna stora djupt lärande modeller på en storskalig kluster utrustad med acceleratorer system. Djup gradientkompression skulle kraftigt öka bandbreddsutnyttjandet och påskynda träningsprocessen men svårt att genomföra på ringstrukturen. I detta dokument finner vi att redundant gradient och gradient dödhet har negativ effekt på träningen. Vi har observerat att i olika epoker och olika steg, de neurala nätverken fokuserar på att uppdatera olika lager och olika parametrar. För att spara mer kommunikation bandbredd och bevara noggrannheten på ringstrukturen, som bryter begränsningen som nodökning, föreslår vi en ny algoritm för att mäta betydelsen av gradienter på storskaliga kluster genomförande ring all-reduce baserat på storleken på förhållandet mellan parameterberäkning gradient till parametervärde. Vår viktade beskärning metod uppnådde 64× och 58,8× gradient kompressionsförhållande på AlexNet och ResNet50 på ImageNet. Samtidigt, för att upprätthålla glesheten i lutningen utbredning, sänder vi slumpmässigt indexet av viktiga gradienter på varje nod. Medan de återstående noderna är redo för indexgradienten och utföra all-reduce uppdatering. Detta skulle påskynda konvergensen av modellen och bevara utbildningens noggrannhet.
Vissa uppdatering gradienter är inte till hjälp för utbildningsprocessen REF.
Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}