Maskininlärning används i ett växande antal tillämpningar som kräver realtids-, exakt- och robusta förutsägelser under tung frågebörda. De flesta ramar och system för maskininlärning riktar sig dock endast till modellutbildning och inte till användning. I den här artikeln introducerar vi Clipper, ett allmänt låg latent-system. Clipper skapar en modulär arkitektur mellan slutanvändarnas tillämpningar och ett brett spektrum av ramverk för maskininlärning för att förenkla användningen av modeller mellan olika ramverk och tillämpningar. Dessutom, genom att införa caching, batching, och adaptiv modell urval tekniker, Clipper minskar förutsägelse latens och förbättrar förutsägelse genomströmning, noggrannhet och robusthet utan att ändra de underliggande ramar maskininlärning. Vi utvärderar Clipper på fyra vanliga maskininlärning riktmärken dataset och visar sin förmåga att uppfylla latens, noggrannhet, och genomströmningskrav av online-tjänster applikationer. Slutligen jämför vi Clipper med Tensorflow Serving-systemet och visar att vi kan uppnå jämförbar genomströmning och latens samtidigt som vi gör det möjligt för modellsammansättning och online-inlärning att förbättra noggrannheten och göra mer robusta förutsägelser.
Clipper REF är ett allmänt låg latens förutsägelse serveringssystem.
Clipper: A Low-Latency Online Prediction Serving System
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}