I ett cloud computing-jobb med många parallella uppgifter blir uppgifterna på de långsammaste maskinerna (sviktande uppgifter) flaskhalsen i arbetets slutförande. Datorramar som MapReduce och Spark tar itu med detta genom att kopiera de strypande uppgifterna och vänta på att någon kopia ska vara klar. Trots att det har antagits i praktiken finns det få analyser av hur replikering påverkar latensen och kostnaden för ytterligare datorresurser. I den här artikeln tillhandahåller vi ett ramverk för att analysera denna latency-kostnad kompromiss och hitta den bästa replikeringsstrategin genom att svara på designfrågor, såsom 1) när man ska replikera straggling uppgifter, (2) hur många repliker att lansera, och (3) om man ska döda den ursprungliga kopian eller inte. Vår analys visar att för vissa tidsfördelningar kan en liten mängd aktivitetsreplikering drastiskt minska både latensen och kostnaden för datorresurser. Vi föreslår också en algoritm för att uppskatta latens och kostnad baserat på den empiriska fördelningen av uppgiften utförande tid. Utvärderingar med hjälp av prover i Google Cluster Trace tyder på ytterligare latens och kostnadsminskningar jämfört med den befintliga replikeringsstrategi som används i MapReduce.
Författarna till REF analyserade latency och kostnad för replikation baserade strategier för straggler begränsning.
Efficient Straggler Replication in Large-Scale Parallel Computing
{'venue': 'TOMPECS', 'journal': None, 'mag_field_of_study': ['Computer Science']}