De beräkningskrav för utbildning av djupa neurala nätverk (DNN) har vuxit till den grad att det nu är standard praxis att parallellisera utbildning. Befintliga system för djupinlärning använder ofta data eller modellparallalism, men tyvärr resulterar dessa strategier ofta i suboptimala parallelliseringsresultat. I detta dokument definierar vi ett mer omfattande sökområde av parallelliseringsstrategier för DNN som kallas SOAP, som inkluderar strategier för att parallellisera en DNN i Sample, Operation, Attribut, och Parameter dimensioner. Vi föreslår också FlexFlow, ett djupt lärande ramverk som använder guidad randomiserad sökning av SOAP utrymme för att hitta en snabb parallellisering strategi för en specifik parallell maskin. För att påskynda denna sökning introducerar FlexFlow en ny exekveringssimulator som exakt kan förutsäga en parallelliseringsstrategis prestanda och är tre storleksordningar snabbare än tidigare tillvägagångssätt som måste utföra varje strategi. Vi utvärderar FlexFlow med sex verkliga DNN-riktmärken på två GPU-kluster och visar att FlexFlow kan öka träningsgenomströmningen med upp till 3,8× över toppmoderna metoder, även när man inkluderar dess söktid, och även förbättrar skalbarheten.
Det senaste arbetet visar till och med hur man automatiskt hittar en snabb parallelliseringsstrategi för en specifik parallell maskin REF.
Beyond Data and Model Parallelism for Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}