Fördelade djupa neurala nätverk (DDNN) utbildning utgör en allt viktigare arbetsbelastning som ofta körs i molnet. Större DNN-modeller och snabbare beräkningsmotorer förskjuter flaskhalsar i DDNN-utbildningen från beräkning till kommunikation. Detta dokument kännetecknar DDNN:s utbildning för att exakt identifiera dessa flaskhalsar. Vi fann att lämplig utbildning kräver högpresterande parameterservrar (PSs) med optimerade nätverks stackar och gradient bearbetning pipelines, samt server- och nätverkshårdvara med balanserade beräknings- och kommunikationsresurser. Vi föreslår därför PHub, en högpresterande multi-tenant, rack-skal PS-design. PHub samdesignar PS-programvaran och hårdvaran för att påskynda utbytet av parametrar för racknivå och hierarkisk cross-rack, med ett API som är kompatibelt med många DDNN-utbildningsramar. PHub ger en prestandaförbättring på upp till 2,7x jämfört med toppmodern distribuerad utbildningsteknik för molnbaserade ImageNet arbetsbelastningar, med 25% bättre genomströmning per dollar.
Parameter Hub föreslår en programvara design som ger en strömlinjeformad lutning bearbetning pipeline REF.
Parameter Hub: a Rack-Scale Parameter Server for Distributed Deep Neural Network Training
{'venue': "SoCC '18", 'journal': None, 'mag_field_of_study': ['Computer Science']}