Abstract Benefiting från storskaliga utbildningsdataset och komplexa utbildningsnätverk, Convolutional Neural Networks (CNN) tillämpas i stor utsträckning inom olika områden med hög noggrannhet. Dock är utbildningsprocessen för CNNs mycket tidskrävande, där stora mängder träningsprover och iterativa operationer krävs för att få högkvalitativa viktparametrar. I detta dokument fokuserar vi på den tidskrävande utbildningsprocessen för storskaliga CNN och föreslår en tvåskiktad parallellutbildningsarkitektur (BPT-CNN) i distribuerade datormiljöer. BPT-CNN består av två huvudkomponenter: a) parallellutbildning i ytterskikt för flera CNN-delnätverk på separata dataundergrupper och b) parallell utbildning i innerskikt för varje delnätverk. I den yttre lagerparallalismen tar vi upp kritiska frågor om distribuerad och parallell databehandling, inklusive datakommunikation, synkronisering och arbetsbelastningsbalans. En strategi för fördelning och fördelning av data (IDPA) föreslås, där storskaliga utbildningsdata delas upp och tilldelas datornoder i omgångar beroende på deras datorkapacitet. För att minimera synkroniseringen som väntar under den globala viktuppdateringsprocessen föreslås en Asynkron Global Weight Update (AGWU) strategi. I den inre lagerparallellismen påskyndar vi ytterligare träningsprocessen för varje CNN-delnätverk på varje dator, där beräkningssteg för konvolutionslager och den lokala styrketräningen parallelliseras baserat på uppgiftsparallellism. Vi inför strategier för att bryta ner och schemalägga uppgifter med målet att lastbalansera trådnivåer och minimera väntetiden för kritiska vägar. Omfattande experimentella resultat tyder på att den föreslagna BPT-CNN effektivt förbättrar CNN:s utbildningsresultat samtidigt som noggrannheten bibehålls.
I vårt tidigare arbete föreslog vi en tvålagers parallell CNN-utbildningsarkitektur i ett distribuerat datorkluster REF.
A Bi-layered Parallel Training Architecture for Large-scale Convolutional Neural Networks
{'venue': 'IEEE Transactions on Parallel and Distributed Systems,2019, 30(5): 965-976', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}