Befintliga ramar för fördjupat lärande använder endast antingen Parameterserver (PS) eller MPI parallellism. I detta dokument diskuterar vi nackdelarna med sådana strategier och föreslår ett generiskt ramverk som stöder både PS- och MPI-programmeringsparadigm, samtidigt som det existerar. Den viktigaste fördelen med den nya modellen är att inbädda skalfördelarna med MPI-parallalism i den löst kopplade PS-uppgiftsmodellen. Förutom att tillhandahålla en praktisk användningsmodell av MPI i moln, möjliggör sådana ramar för ny kommunikation undvika algoritmer som gör parameter medelvärde i Stochastic Gradient Descent (SGD) metoder. Vi visar hur MPI- och PS-modeller kan synergetiskt tillämpa algoritmer som Elastic SGD för att förbättra graden av konvergens mot befintliga metoder. Dessa nya algoritmer hjälper direkt till att skala SGD-kluster över hela världen. Dessutom optimerar vi också den kritiska komponenten i ramverket, nämligen global aggregation eller allreduce med hjälp av ett nytt koncept av tensorkollektiv. Dessa behandlar en grupp vektorer på en nod som ett enda objekt som gör det möjligt för de befintliga enskilda vektoralgoritmerna att vara direkt tillämpliga. Vi stöder våra påståenden med tillräckliga empiriska bevis med hjälp av storskaliga ImageNet 1K data. Vårt ramverk är byggt på MXNET men designen är generisk och kan anpassas till andra populära DL-infrastrukturer.
Mamidala m.fl. REF diskuterar nackdelarna med Parameterserverns tillvägagångssätt och MPI-parallalism.
MXNET-MPI: Embedding MPI parallelism in Parameter Server Task Model for scaling Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}