Abstract-We undersöka prestanda och skalbarhet av den randomiserade CX låg-rankade matris factorization och visa dess tillämplighet genom analys av en 1TB masspektrometri avbildning (MSI) dataset, med Apache Spark på en Amazon EC2 kluster, en Cray XC40-system, och en experimentell Cray kluster. Vi implementerade denna factorization både som en parallell C implementation med handjusterade optimeringar och i Scala med Apache Spark högnivå cluster computing ram. Vi fick konsekvent prestanda över de tre plattformarna: med hjälp av Spark kunde vi bearbeta 1TB storlek dataset på under 30 minuter med 960 kärnor på alla system, med de snabbaste tiderna som erhållits på den experimentella Cray kluster. Som jämförelse, C-implementationen behandlade 1TB storlek dataset 21X snabbare på Amazon EC2-systemet, på grund av noggranna cacheoptimeringar, bandbreddsvänlig åtkomst av matriser och vektorberäkning med SIMD-enheter. Vi rapporterar dessa resultat och deras konsekvenser för hårdvaru- och programvarufrågor som uppstår för att stödja datacentrerad arbetsbelastning i parallella och distribuerade miljöer.
al REF undersökte både prestanda och skalbarhet hos den randomiserade CX lågrankade matrisfaktoriseringen på Spark.
A Multi-Platform Evaluation of the Randomized CX Low-Rank Matrix Factorization in Spark
{'venue': '2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)', 'journal': '2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)', 'mag_field_of_study': ['Computer Science']}