Konvolutionella neurala nätverk [3] har visat sig användbara inom många områden, inklusive datorseende [1, 4, 5], ljudbehandling [6, 7] och behandling av naturligt språk [8]. Dessa kraftfulla modeller kommer dock till stor kostnad i träningstid. För närvarande gör långa utbildningsperioder experiment svåra och tidskrävande. I detta arbete överväger vi en standardarkitektur [1] som är tränad i Imagenetdataset [2] för klassificering och undersökning av metoder för att påskynda konvergens genom att parallellisera utbildning över flera GPU:er. I detta arbete använde vi upp till 4 NVIDIA TITAN GPUs med 6 GB RAM. Medan våra experiment utförs på en enda server, våra GPU:er har delade minnesutrymmen, och precis som i den distribuerade inställningen, kommunikation overheads är en viktig hänsyn. Till skillnad från tidigare arbete [9, 10, 11] siktar vi inte på att förbättra den underliggande optimeringsalgoritmen. Istället isolerar vi effekten av parallellism, medan vi använder standard övervakad back-propagation och synkron mini-batch stokastisk lutning nedstigning. Vi överväger två grundläggande tillvägagångssätt: data och modellparallalism [9]. I data parallellism, är minibatch delas över flera GPUs som visas i fikon. 3............................................................... Varje GPU ansvarar för beräkning av lutningar med avseende på alla modellparametrar, men gör det med hjälp av en delmängd av proverna i mini-batchen. Detta är den mest enkla parallelliseringsmetoden, men det kräver betydande kommunikation mellan GPU, eftersom varje GPU måste kommunicera både gradienter och parametervärden på varje uppdatering steg. Dessutom måste varje GPU använda ett stort antal prover för att effektivt utnyttja den mycket parallella enheten; alltså, mini-batch storlek effektivt multipliceras med antalet GPU:er, hämmar konvergens. I vårt genomförande, hittar vi en hastighetsuppgång på 1
Facebook REF antar både data-parallelism och modell-parallelism för att träna multi-GPU maskiner.
Multi-GPU Training of ConvNets
{'venue': 'ICLR 2013', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}