Vi visar att träning ResNet-50 på ImageNet för 90 epoker kan uppnås på 15 minuter med 1024 Tesla P100 GPUs. Detta gjordes möjligt genom att använda en stor minibatch storlek på 32k. För att upprätthålla noggrannhet med denna stora minibatch storlek, använde vi flera tekniker såsom RMSprop uppvärmning, batch normalisering utan rörliga medelvärden, och en långsam start inlärningshastighet schema. I detta dokument beskrivs också detaljerna i hårdvaran och programvaran i det system som används för att uppnå ovanstående prestanda.
Akiba m.fl. REF använde en kombination av batch normalisering förändringar och optimerar / lärande hastighet schema ändringar för att träna ResNet-50 på 15 minuter.
Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}