Koder används ofta i många tekniska applikationer för att erbjuda någon form av tillförlitlighet och feltolerans. Högnivåidén med kodning är att utnyttja resursredundans för att leverera högre robusthet mot systembuller. I storskaliga system finns det flera typer av "buller" som kan påverka prestandan hos distribuerade maskininlärningsalgoritmer: straggler noder, systemfel, eller kommunikationsflaskhalsar. Dessutom är redundans riklig: en uppsjö av noder, en hel del reservförvaring, etc. Dock har det varit lite interaktion skär över koder, maskininlärning och distribuerade system. I detta arbete, skrapa ytan av "koder för distribuerad beräkning", ger vi teoretiska insikter om hur kodade lösningar kan uppnå betydande vinster jämfört med okodade. Vi fokuserar på två av de mest grundläggande byggstenarna i distribuerade lärande algoritmer: matris multiplikation och data mixling. För matris multiplikation, använder vi koder för att utnyttja mängden av noder och lindra effekterna av stragglers. Vi visar att om antalet arbetare är n, och körtiden för varje subtask har en exponentiell svans, är den optimala kodade matrisen multiplikation  och (log n) gånger snabbare än den okodade matrisen multiplikation. I datafuffling använder vi koder för att utnyttja överskottet i lagring och minska kommunikationsflaskhalsar. Vi visar att när α är den del av datamatrisen som kan lagras hos varje arbetstagare, och n är antalet arbetstagare, minskar kodad suffling kommunikationskostnaden med en faktor (αγ(n)) jämfört med okodad suffling, där γ(n) är förhållandet mellan kostnaden för unicasting n meddelanden till n användare att sända ett gemensamt meddelande (av samma storlek) till n användare. Till exempel, γ(n) n om sända ett meddelande till n användare är lika billigt som unicasting ett meddelande till en användare. Vi ger bevis på syntetiska och öppna MPI experiment på Amazon EC2 som belyser betydande vinster som erbjuds av våra föreslagna kodade lösningar jämfört med okodade: våra preliminära resultat visar att kodade distribuerade algoritmer kan uppnå betydande hastighetshöjningar på upp till 40% jämfört med okodade distribuerade algoritmer.
Använda koder för straggler begränsning i distribuerad dator började i REF där författarna föreslog användning av MDS-koder för distribuerade linjära maskininlärning algoritmer i homogena arbetstagare inställning.
Speeding Up Distributed Machine Learning Using Codes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}