Det är vanligt att inlärningshastigheten minskar. Här visar vi att man vanligtvis kan få samma inlärningskurva på både träning och testset genom att istället öka batchstorleken under träningen. Detta förfarande är framgångsrikt för stokastisk lutning nedstigning (SGD), SGD med momentum, Nesterov momentum, och Adam. Det når motsvarande testnoggrannheter efter samma antal träningsperioder, men med färre parameteruppdateringar, vilket leder till större parallellism och kortare träningstider. Vi kan ytterligare minska antalet parameteruppdateringar genom att öka inlärningshastigheten och skala batchstorleken B. Slutligen kan man öka momentumkoefficienten m och skala B 1/( 1 - m), även om detta tenderar att minska testnoggrannheten något. Avgörande, våra tekniker gör att vi kan återanvända befintliga träningsscheman för stor batch utbildning utan hyper-parameter inställning. Vi utbildar Inception-ResNet-V2 på ImageNet till 77% valideringsnoggrannhet i under 2500 parameteruppdateringar, effektivt utnyttja träningssatser av 65536 bilder.
Smith och Al. REF visade ett alternativt sätt att hantera generaliseringsklyftan genom att öka batchstorleken under träningsschemat utöver inlärningsfrekvensen.
Don't Decay the Learning Rate, Increase the Batch Size
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}