Utvecklare använder maskininlärning (ML) plattformar för att utbilda ML-modeller och sedan distribuera dessa ML-modeller som webbtjänster för inferens (prediction). En viktig utmaning för plattformsleverantörer är att garantera servicenivåavtal för svarstid för inferensbelastningar och samtidigt maximera resurseffektiviteten. Swayam är ett helt distribuerat ramverk för autoskalning som utnyttjar egenskaper hos produktion ML inference arbetsbelastningar för att leverera på den dubbla utmaningen resurseffektivitet och SLA efterlevnad. Våra viktigaste bidrag är (1) modellbaserad automatisk skalning som tar hänsyn till SLA och ML inference arbetsbelastningsegenskaper, (2) ett distribuerat protokoll som använder information om partiell belastning och förutsägelse vid frontends för att tillhandahålla nya service instanser, och (3) ett backend själv-avveckling protokoll för service fall. Vi utvärderar Swayam på 15 populära tjänster som var värd på en produktion ML-as-a-service plattform, för följande service-speci c SLA: för varje tjänst, minst 99% av förfrågningar måste slutföras inom svarstidströskeln. Jämfört med en clairvoyant autoscaler som alltid satis es SLA (dvs. även om det är en bristning i efterfrågan priser), Swayam minskar resursutnyttjandet med upp till 27%, medan möter service-speci c SLAs över 96% av tiden under en tre timmars fönster. Microsoft Azure s Swayam-baserade ramverk lanserades 2016 och har värd över 100 000 tjänster.
Skalning: Swayam REF är en modellbaserad CPU autoscaler som står för SLOs för att uppnå hög resursanvändning.
Swayam: distributed autoscaling to meet SLAs of machine learning inference services with resource efficiency
{'venue': "Middleware '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}