I den tid då globala tjänster, big data analytiska frågor ofta krävs för att bearbeta dataset som spänner över flera datacenter (DCs). I detta läge är bandbredden mellan de olika länderna ofta den knappaste, mest volatila och/eller dyraste resursen. Men nuvarande brett utplacerade ramar big data analytics gör inget försök att minimera trafiken traversing dessa länkar. I detta dokument presenterar vi PIXIDA, en schemaläggare som syftar till att minimera datarörelser över resursbegränsade länkar. För att uppnå detta introducerar vi en ny abstraktion kallad SILO, som är nyckeln till att modellera PIXIDA:s schemaläggningsmål som ett diagrampartitioneringsproblem. Dessutom visar vi att befintliga diagram partitionering problemformuleringar inte kartlägga hur big data jobb fungerar, vilket gör att deras lösningar missar möjligheter att undvika dataöverföring. För att ta itu med detta formulerar vi ett nytt grafpartitioneringsproblem och föreslår en ny algoritm för att lösa det. Vi integrerade PIXIDA i Spark och våra experiment visar att, jämfört med befintliga schemaläggare, PIXIDA uppnår en betydande trafikminskning på upp till 9× på ovan nämnda länkar.
Pixida REF använder metoden för grafpartition för att minimera överföringskostnaden.
PIXIDA: Optimizing Data Parallel Jobs in Wide-Area Data Analytics
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}