Den växande användningen av statistiska och maskininlärningsalgoritmer (ML) för att analysera stora datauppsättningar har gett upphov till nya system för att skala sådana algoritmer. Men att implementera nya skalbara algoritmer på lågnivåspråk är en smärtsam process, särskilt för företag och vetenskapliga användare. För att mildra denna fråga, en ny typ av system exponerar hög nivå bulk linjär algebra (LA) primitiver som är skalbara. Genom att komponera sådana LA primitiva, användare kan skriva analys algoritmer på en högre nivå språk, medan systemet hanterar skalbarhet problem. Men det finns inte mycket arbete med en enhetlig jämförande utvärdering av skalbarheten, effektiviteten och effektiviteten hos sådana "skalbara LA-system". Vi tar ett stort steg mot att fylla denna lucka. Vi inför en serie LA-specifika tester baserade på vår analys av dataåtkomst och kommunikationsmönster för LA arbetsbelastningar och deras användningsfall. Med hjälp av våra tester gör vi en omfattande empirisk jämförelse av några populära skalbara LA-system: MADlib, MLlib, SystemML, Scalapack, SciDB och TensorFlow med hjälp av både syntetiska data och en stor real-world dataset. Vår studie har avslöjat flera skalbarhet flaskhalsar, ovanliga prestandatrender, och även buggar i vissa system. Våra resultat har redan lett till förbättringar i SystemML, med andra systems utvecklare som också uttrycker intresse. Alla våra kod- och dataskript finns tillgängliga för nedladdning på https://adalabucsd.github.io/slab.html.
SLAB (Scalable Linear Algebra Benchmarking) REF presenterar en serie LA-specifika tester baserade på analys av dataåtkomst och kommunikationsmönster för LA arbetsbelastning.
A comparative evaluation of systems for scalable linear algebra-based analytics
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}