Abstract-Scientific analyser brukar komponera flera en-process program till ett dataflöde. En end-to-end dataflöde av en process program är känd som en många-task ansökan. Vanligtvis används HPC-verktyg för att parallellisera dessa analyser. I detta arbete undersöker vi ett alternativt tillvägagångssätt som använder Apache Spark-en modern plattform för dataintensiva datorer-att parallellisera många-task applikationer. Vi implementerar Kira, en flexibel och distribuerad astronomi bildbehandling verktygslåda, och dess Source Extractor (Kira SE) ansökan. Med Kira SE som fallstudie undersöker vi programmeringsflexibilitet, dataflödesrikedom, schemaläggningskapacitet och prestanda hos Apache Spark som körs på Amazon EC2-molnet. Genom att utnyttja datalokalitet, Kira SE uppnår en 4,1× speedup över ett likvärdigt C-program när man analyserar en 1TB dataset med 512 kärnor på Amazon EC2 molnet. Dessutom Kira SE på Amazon EC2 molnet uppnår en 1,8× speedup över C-programmet på NERSC Edison superdator. En 128-kärnig Amazon EC2 moln driftsättning av Kira SE med hjälp av Spark Streaming kan uppnå en andra-skal latency med en ihållande genomströmning på 800 MB/s. Vår erfarenhet med Kira visar att dataintensiva datorplattformar som Apache Spark är ett performant alternativ för många vetenskapliga tillämpningar.
Till exempel Kira REF är en distribuerad astronomi bildbehandling verktygslåda på toppen av Spark.
Kira: Processing Astronomy Imagery Using Big Data Technology
{'venue': None, 'journal': 'IEEE Transactions on Big Data', 'mag_field_of_study': ['Computer Science']}