Gradient Descent, och dess varianter, är en populär metod för att lösa empiriska riskminimeringsproblem i maskininlärning. Men om storleken på träningssetet är stor, en beräknings flaskhals är beräkningen av lutningen, och därmed är det vanligt att fördela utbildningen uppsättningen bland arbetstagare noder. Att göra detta på ett synkront sätt står inför ännu en utmaning av stragglers (dvs. långsamma eller otillgängliga noder) som kan orsaka en avsevärd fördröjning, och därför, system för begränsning av stragglers är nödvändiga. Det visades nyligen av Tandon et al. att stragglers kan undvikas genom att noggrant tilldela redundanta beräkningar till arbetarnoder och koda över partiella gradienter, och en randomiserad konstruktion för kodningen gavs. I detta dokument får vi ett jämförbart deterministiskt system genom att använda cykliska MDS-koder. Dessutom föreslår vi att man ersätter den exakta beräkningen av lutningen med en ungefärlig; en teknik som drastiskt ökar straggler toleransen, och härrör från adjacency matriser av expander grafer.
I REF införs en ungefärlig variant av gradientkodningsproblem, där ungefärlig gradientberäkning görs istället för exakt beräkning.
Gradient Coding from Cyclic MDS Codes and Expander Graphs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}