Utbildning maskininlärning (ML) modeller med stora datauppsättningar kan medföra betydande resurs stridighet på delade kluster. Denna utbildning innebär vanligtvis många iterationer som ständigt förbättrar kvaliteten på modellen. Men i undersökande miljöer kan man snabbare få fram bättre modeller genom att rikta resurser till arbetstillfällen med störst förbättringspotential. Vi beskriver SLAQ, ett kluster schemaläggningssystem för ungefärliga ML utbildning jobb som syftar till att maximera den totala jobbkvaliteten. När man fördelar klusterresurser, undersöker SLAQ kvalitets-runtime kompromisser mellan flera jobb för att maximera system-omfattande kvalitetsförbättringar. För att göra detta utnyttjar SLAQ den iterativa karaktären av ML-utbildningsalgoritmer, genom att samla in information om kvalitet och resursanvändning från samtidiga jobb, och sedan generera mycket skräddarsydda kvalitetsförbättringsprognoser för framtida iterationer. Experiment visar att SLAQ uppnår en genomsnittlig kvalitetsförbättring på upp till 73 % och en genomsnittlig fördröjningsminskning på upp till 44 % för en stor uppsättning ML-utbildningsjobb, jämfört med resursrättvisa schemaläggare.
SLAQ REF är en kluster schemaläggare för ML-tillämpningar.
SLAQ: quality-driven scheduling for distributed machine learning
{'venue': "SoCC '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}