Synkroniserad stokastisk lutning nedstigning (SGD) optimizers med data parallellism används i stor skala för att träna djupa neurala nätverk. Även om användning av större mini-batch storlekar kan förbättra systemet skalbarhet genom att minska förhållandet kommunikation-till-beräkning, det kan skada generalisering förmåga modellerna. I detta syfte bygger vi ett mycket skalbart system för djupinlärning för täta GPU-kluster med tre huvudsakliga bidrag: (1) Vi föreslår en mixed-precision utbildningsmetod som avsevärt förbättrar träningsgenomströmningen av en enda GPU utan att förlora noggrannhet. (2) Vi föreslår en optimeringsmetod för extremt stor minibatchstorlek (upp till 64k) som kan träna CNN-modeller på ImageNet-datasetet utan att förlora noggrannhet. (3) Vi föreslår högt optimerade all-reduce algoritmer som uppnår upp till 3x och 11x speedup på AlexNet respektive ResNet-50 än NCCL-baserad utbildning på ett kluster med 1024 Tesla P40 GPUs. På träning ResNet-50 med 90 epoker, det toppmoderna GPU-baserade systemet med 1024 Tesla P100 GPUs tillbringade 15 minuter och uppnådde 74,9% topp-1 testnoggrannhet, och ett annat KNL-baserat system med 2048 Intel KNLs tillbringade 20 minuter och uppnådde 75,4% noggrannhet. Vårt träningssystem kan uppnå 75,8% topp-1 testnoggrannhet på bara 6,6 minuter med 2048 Tesla P40 GPU. När du tränar AlexNet med 95 epoker, kan vårt system uppnå 58,7% topp-1 testnoggrannhet inom 4 minuter, vilket också överträffar alla andra befintliga system.
Det senaste arbetet REF kombinerade distribuerad utbildning med en blandad precision ram, vilket ledde till utbildning AlexNet inom 4 minuter.
Highly Scalable Deep Learning Training System with Mixed-Precision: Training ImageNet in Four Minutes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}