Detta dokument utvecklar kodningsteknik för att minska körtiden för distribuerade inlärningsuppgifter. Den karakteriserar den grundläggande kompromissen att beräkna gradienter (och mer allmänt vektorsammanräkningar) i form av tre parametrar: beräkningsbelastning, stragglertolerans och kommunikationskostnader. Det ger också ett uttryckligt kodningssystem som uppnår den optimala avvägningen baserat på rekursiva polynomkonstruktioner, som kodar både mellan dataundergrupper och vektorkomponenter. Det föreslagna systemet gör det därför möjligt att minimera körtiden för lutningsberäkningar. Genomföranden görs på Amazon EC2-kluster med Python med mpi4py-paket. Resultaten visar att det föreslagna systemet upprätthåller samma generaliseringsfel samtidigt som körtiden minskas med 32 % jämfört med okodade system och 23 % jämfört med tidigare kodade system som endast fokuserar på stragglers (Tandon et al., ICML 2017 [11], som inför kodteknik för att minska effekten av stragglers i gradientberäkning. Detta är en central uppgift inom maskininlärning, men [11] tar inte hänsyn till de kommunikationskostnader som är viktiga i sådana tillämpningar som nämns ovan. I detta dokument har man en övergripande syn på körtiden för distribuerade inlärningsuppgifter genom att beakta de tre parametrarna, nämligen beräkningsbelastning, stragglertolerans och kommunikationskostnader. Vi identifierar en trefaldig grundläggande avvägning mellan dessa parametrar för att effektivt beräkna gradienter (och mer allmänt summan av vektorer), utnyttjar distribuivitet både mellan data undergrupper och vektorkomponenter. Avvägningen avläser
I REF, kodning tekniker för att minska körtiden för distribuerade lärande uppgifter har tillhandahållits.
Communication-Computation Efficient Gradient Coding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}