Djupt lärande frodas med stora neurala nätverk och stora dataset. Större nätverk och större datamängder leder dock till längre utbildningstider som hindrar forsknings- och utvecklingsarbetet. Distribuerade synkrona SGD erbjuder en potentiell lösning på detta problem genom att dela SGD-minibatches över en pool av parallella arbetare. För att göra detta system effektivt måste arbetsbördan per arbetstagare vara stor, vilket innebär en icke-trivial tillväxt i SGD-minibatch-storleken. I detta papper, visar vi empiriskt att på ImageNet dataset stora minibatcher orsakar optimering svårigheter, men när dessa behandlas de utbildade nätverken uppvisar god generalisering. Speciellt visar vi ingen förlust av noggrannhet vid träning med stora minibatch storlekar upp till 8192 bilder. För att uppnå detta resultat, antar vi en linjär skalning regel för att justera inlärningshastigheter som en funktion av minibatch storlek och utveckla ett nytt uppvärmningsprogram som övervinner optimering utmaningar tidigt i utbildningen. Med dessa enkla tekniker, vårt Caffe2-baserade system tränar ResNet-50 med en minibatch storlek på 8192 på 256 GPU på en timme, samtidigt som den matchar små minibatch noggrannhet. Med hjälp av råvaruhårdvara, vår implementering uppnår 90% skaleffektivitet när du flyttar från 8 till 256 GPUs. Detta system gör det möjligt för oss att träna visuella igenkänningsmodeller på internetscale data med hög effektivitet.
Snabba upp neurala nätverk utbildning REF använde stor-match utbildning för att träna en ResNet-50 modell på ImageNet på en timme.
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}