Abstract-Många klusterhanteringssystem (CMS) har föreslagits att dela ett enda kluster med flera distribuerade datorsystem. Men ingen av de befintliga metoderna kan hantera distribuerad maskininlärning (ML) arbetsbelastning med tanke på följande kriterier: högt resursutnyttjande, rättvis resursallokering och låg andel overhead. För att lösa detta problem föreslår vi en ny CMS som heter Dorm, med en dynamisk uppdelning av klusterhanteringsmekanismen och en usagefairnessoptimizer. Speciellt använder Dorm den containerbaserade virtualiseringstekniken för att partitionera ett kluster, kör ett program per partition och kan dynamiskt ändra storlek på varje partition vid programtidpunkten för resurseffektivitet och rättvisa. Varje program lanserar sina uppgifter direkt på den tilldelade partitionen utan att ansöka om resurser ofta, så Dorm inför platt delning overhead. Omfattande resultatutvärderingar visade att Dorm samtidigt kunde öka resursutnyttjandet med en faktor på upp till 2,32, minska rättviseförlusten med en faktor på upp till 1,52, och påskynda populära distribuerade ML-tillämpningar med en faktor på upp till 2,72, jämfört med befintliga metoder. Dorms andel är mindre än 5% i de flesta fall.
Nyligen i litteraturen, Dorm REF förespråkar partitionering av ett ML kluster, kör ett ML program per partition, och dynamiskt ändrar partitioner för resurseffektivitet och rättvisa, genom att lösa ett blandat heltal linjärt program (MILP) med hjälp av en standard lösare.
Towards Distributed Machine Learning in Shared Clusters: A Dynamically-Partitioned Approach
{'venue': '2017 IEEE International Conference on Smart Computing (SMARTCOMP)', 'journal': '2017 IEEE International Conference on Smart Computing (SMARTCOMP)', 'mag_field_of_study': ['Computer Science']}