Apache Spark är en populär öppen källkodsplattform för storskalig databehandling som är väl lämpad för iterativa maskininlärningsuppgifter. I detta papper presenterar vi MLlib, Sparks open-source distribuerade maskininlärningsbibliotek. MLlib ger effektiv funktionalitet för ett brett spektrum av inlärningsinställningar och omfattar flera underliggande statistiska, optimering och linjära algebra primitiva. Skickas med Spark, stöder MLlib flera språk och ger en hög nivå API som utnyttjar Spark rika ekosystem för att förenkla utvecklingen av end-to-end maskininlärning pipelines. MLlib har upplevt en snabb tillväxt på grund av sin livliga öppen källkodsgemenskap med över 140 bidragslämnare, och innehåller omfattande dokumentation för att stödja ytterligare tillväxt och för att låta användarna snabbt komma upp i hastighet.
Spark MLlib erbjuder ett brett utbud av funktioner för att lära parameterinställningar, och API:er för ett antal populära maskininlärning algoritmer, inklusive några potentiella statistik, linjär regression, naiva Bayes och stöd vektor maskiner REF.
MLlib: Machine Learning in Apache Spark
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}