Distribuerade system för utbildning av djupa neurala nätverk (DNN) med stora mängder data har avsevärt förbättrat noggrannheten i maskininlärning modeller för bild- och taligenkänning. DNN-system skala till stora kluster utbyggnader genom att låta arbetarnoder träna många modell repliker parallellt; för att säkerställa modellkonvergens, parameterservrar regelbundet synkronisera replikerna. Detta ger upphov till utmaningen att dela upp resurser mellan arbetstagare och parameterservrar så att klusterprocessorn och nätverksresurserna utnyttjas fullt ut utan att flaskhalsar införs. I praktiken kräver detta manuell inställning för varje modellkonfiguration eller maskinvarutyp. Vi beskriver Ako, ett decentraliserat dataflödesbaserat DNN-system utan parameterservrar som är utformat för att mätta klusterresurser. Alla noder utför arbetare som fullt ut använder CPU-resurser för att uppdatera modell repliker. För att synkronisera repliker så ofta som möjligt under förutsättning av tillgänglig nätverksbandbredd utbyter arbetarna partitionerade gradientuppdateringar direkt med varandra. Antalet partitioner väljs så att den använda nätverksbandbredden förblir konstant, oberoende av klusterstorlek. Eftersom arbetarna så småningom får alla gradientpartitioner efter flera omgångar, påverkas inte konvergensen. För ImageNet-riktmärket på ett 64-node-kluster kräver Ako inga resursfördelningsbeslut, men konvergerar snabbare än utbyggnader med parameterservrar.
REF introducerar ett distribuerat system för djupinlärning utan parameterservrar, genom att arbetstagarna interleave gradient beräkning och kommunikation i ett round-robin mönster.
Ako: Decentralised Deep Learning with Partial Gradient Exchange
{'venue': "SoCC '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}