Ett ökat behov av storskaliga dataanalyser inom ett antal tillämpningsområden har lett till en dramatisk ökning av antalet distribuerade datahanteringssystem, både parallella relationsdatabaser, och system som stöder alternativa ramverk som MapReduce. Det finns därför en ökande strid på knappa datacenter resurser som nätverksbandbredd (särskilt tvärgående bandbredd); ytterligare, energikraven för att driva datorutrustning växer också dramatiskt. Som vi empiriskt visar, öka utförandet parallellism genom att sprida ut data över ett stort antal maskiner kan uppnå det avsedda målet att minska fråge latens, men i de flesta fall, kan öka den totala resursen och energiförbrukningen avsevärt. För många analytiska arbetsbelastningar, dock, minimering frågelatenser är ofta inte kritiska; i sådana scenarier, hävdar vi att vi i stället bör fokusera på att minimera den genomsnittliga frågespann, dvs. det genomsnittliga antalet maskiner som är involverade i behandlingen av en fråga, genom colocation av dataobjekt som ofta nås tillsammans. I detta arbete utnyttjar vi det faktum att de flesta distribuerade miljöer behöver använda replikering för feltolerans, och vi utformar arbetsbelastningsdrivna replika urval och placering algoritmer som försöker minimera den genomsnittliga frågespann. Vi modellerar en historisk frågebörda spår som en hypergraf över en uppsättning dataobjekt (som kan vara relation partitioner, eller filbitar), och formulera och analysera problemet med replika placering genom att rita anslutningar till flera välstuderade grafteoretiska begrepp. Vi använder dessa anslutningar för att utveckla en rad algoritmer för att bestämma vilka dataobjekt som ska replikeras och var kopiorna ska placeras. Vi visar effektiviteten i vårt föreslagna tillvägagångssätt genom att bygga en spårdriven simuleringsram och genom att presentera resultat på en samling syntetiska och verkliga arbetsbelastningar. Våra experiment visar att noggrann dataplacering och replikering dramatiskt kan minska den genomsnittliga frågebredden vilket resulterar i betydande minskningar av resursförbrukningen.
Med tanke på en uppsättning bord, en uppsättning servrar och en uppsättning frågor, Kayyoor et al. Ref har studerat algoritmer för att bestämma vilka tabeller som ska replikeras och var dessa kopior ska placeras.
Data Placement and Replica Selection for Improving Co-location in Distributed Environments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}