Datafuffling är en av de grundläggande byggstenarna för distribuerade inlärningsalgoritmer, som ökar den statistiska vinsten för varje steg i inlärningsprocessen. I varje iteration tilldelas olika blandade datapunkter av en central nod till en distribuerad uppsättning arbetstagare för att utföra lokala beräkningar, vilket leder till kommunikationsflaskhalsar. Fokus i detta dokument är att formalisera och förstå den grundläggande informations-teoretiska avvägningen mellan lagring (per arbetstagare) och de värsta fall kommunikation overhead för datafuffling problem. Vi karakteriserar helt informationen teoretisk kompromiss för K = 2, och K = 3 anställda, för alla värde av lagringskapacitet, och visar att öka lagring över arbetare kan minska kommunikationen overhead genom att utnyttja kodning. Vi föreslår en ny och systematisk strategi för leverans och lagring av data för varje datablandning, som bevarar de strukturella egenskaperna hos lagringen över arbetarna, och hjälper till att minimera kommunikations omkostnader i efterföljande data mixling iterationer. Relaterat arbete: Under de senaste åren har det funnits en fluffig forskningsaktivitet när det gäller att förstå fördelarna med kodning för cachelagring från Maddah-Ali och Niesens arbete [6] som visade att utnyttjande av multi-casting möjligheter genom kodning kan minska kommunikationen för cachelagring. År [7] föreslogs kodning för MapReduce för att minska kommunikationskostnaderna mellan kartare och reduktionsarbetare, men [7]:s underliggande fokus är betydligt annorlunda än det problem som tas upp i detta arbete, där vi bryr oss om kommunikationen mellan masternoden och arbetarna. Papperet som är närmast relaterat till detta arbete är [8], där idén om kodning för datafuffling problem presenteras för att minska kommunikationen overhead mellan master noden och arbetstagare noder. [8] ger ett probabilistiskt system för att utnyttja kodning baserad på slumpmässig lagring. I motsats till [8] tillhandahåller vi i detta dokument ett deterministiskt och systematiskt uppdateringsprogram för lagring, vilket ökar kodningsmöjligheterna i leveransfasen. Den underliggande metriska används här är den värsta fall kommunikation kostnad över alla möjliga shuffles, till skillnad från den genomsnittliga kostnaden som beaktas i [8]. Slutligen presenterar vi också de första teoretiska lägre gränserna för information om de allmänna omkostnaderna för datafuffling-problemen.
I ett relaterat ord till kodade data som blandas studerar REF de teoretiska gränserna för data som blandas i distribuerat lärande.
Information Theoretic Limits of Data Shuffling for Distributed Learning
{'venue': '2016 IEEE Global Communications Conference (GLOBECOM)', 'journal': '2016 IEEE Global Communications Conference (GLOBECOM)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}