De senaste åren har ökat i beräkningskraven för att träna djupa konvolutionella neurala nätverk. Nuvarande metoder parallelliserar utbildning på flera enheter genom att tillämpa en enda parallelliseringsstrategi (t.ex. data eller modellparallalism) på alla skikt i ett nätverk. Även lätt att resonera om, dessa metoder resulterar i suboptimal körtid prestanda i storskalig distribuerad utbildning, eftersom olika lager i ett nätverk kan föredra olika parallelliseringsstrategier. I detta dokument föreslår vi skiktvis parallellism som gör det möjligt för varje skikt i ett nätverk att använda en individuell parallelliseringsstrategi. Vi optimerar gemensamt hur varje lager parallelliseras genom att lösa ett grafsökproblem. Vår utvärdering visar att skiktvis parallellism överträffar state-of-the-art metoder genom att öka utbildning genomströmning, minska kommunikationskostnader, uppnå bättre skalbarhet för flera GPU:er, samtidigt som den ursprungliga nätverksnoggrannheten bibehålls.
Jia m.fl. föreslå skiktvis parallellism, vilket gör det möjligt för varje enskilt skikt att använda en oberoende parallellismpolicy REF.
Exploring Hidden Dimensions in Parallelizing Convolutional Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}