Storskaligt djupinlärning kräver enorma beräkningsresurser för att träna ett flerlagers neuralt nätverk. Nya system föreslår att man använder 100-1000-tals maskiner för att träna nätverk med tiotals lager och miljarder anslutningar. Medan beräkningen kan göras mer effektivt på GPU:er än på mer traditionella CPU-kärnor, utbildning sådana nätverk på en enda GPU är för långsam och utbildning på distribuerade GPU:er kan vara ineffektiva, på grund av omkostnader för dataöverföring, GPU:er, och begränsad GPU minne. Detta papper beskriver en ny parameterserver, kallad Geeps, som stöder skalbar djupinlärning över GPUs som distribueras mellan flera maskiner, övervinna dessa hinder. Vi visar att Geeps möjliggör en toppmodern single-node GPU-implementation att skala väl, såsom till 13 gånger antalet utbildningsbilder som bearbetas per sekund på 16 maskiner (relaterat till den ursprungliga optimerade single-node koden). Dessutom uppnår Geeps ett högre träningsflöde med bara fyra GPU-maskiner än vad ett toppmodernt CPU-baserat system uppnår med 108 maskiner.
En studie om distribuerad utbildning med hjälp av storskaliga distribuerade GPU:er gav en lösning på minnesbegränsning, stånd och dataöverföring overhead för en GPU REF.
GeePS: scalable deep learning on distributed GPUs with a GPU-specialized parameter server
{'venue': "EuroSys '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}