Dagens massiva datauppsättningar har gjort det nödvändigt att ofta utföra beräkningar på dem på ett distribuerat sätt. I princip är en beräkningsuppgift uppdelad i deluppgifter som fördelas över ett kluster som drivs av en taskmaster. En fråga som i praktiken ställs inför är den försening som uppstår på grund av förekomsten av långsamma maskiner, så kallade stagglers. Flera program, bland annat de som bygger på replikering, har föreslagits i litteraturen för att mildra effekterna av strypare och på senare tid har de som inspirerats av kodningsteorin börjat få dragkraft. I detta arbete anser vi att en distribuerad lutning nedstigning inställning lämplig för en bred klass av maskininlärning problem. Vi antar ramen för Tandon et al. [1] och presentera ett deterministiskt system som, för en föreskriven beräkningsinsats per maskin, återvinner lutningen från det minsta antalet maskiner f teoretiskt tillåtet, via en avkodningsalgoritm för O(f 2 ). Idén är baserad på en lämpligt utformad Reed-Solomon kod som har en glesast och balanserad generator matris. Vi tillhandahåller också en teoretisk fördröjningsmodell som kan användas för att minimera den förväntade väntetiden per beräkning genom att optimalt välja parametrarna i systemet. Slutligen kompletterar vi våra teoretiska resultat med numeriska resultat som visar metodens effektivitet och dess fördelar jämfört med konkurrerande system.
I REF presenteras ett straggler reducerande system som underlättar genomförandet av distribuerad lutning nedstigning i ett datorkluster.
Improving Distributed Gradient Descent Using Reed-Solomon Codes
{'venue': '2018 IEEE International Symposium on Information Theory (ISIT)', 'journal': '2018 IEEE International Symposium on Information Theory (ISIT)', 'mag_field_of_study': ['Mathematics', 'Computer Science']}