Vetenskapliga analyser brukar komponera flera enprocessprogram till ett dataflöde. En end-to-end dataflöde av en process program är känd som en många-task ansökan. Vanligtvis används verktyg från HPC programvara stacken för att parallellisera dessa analyser. I detta arbete undersöker vi ett alternativt tillvägagångssätt som använder Apache Spark-en modern big data plattform-för att parallellisera många-task applikationer. Vi presenterar Kira, en flexibel och distribuerad astronomi bildbehandling verktygslåda med Apache Spark. Vi använder sedan Kira toolkit för att implementera ett källextraktorprogram för astronomibilder, som heter Kira SE. Med Kira SE som användningsområde studerar vi programmeringsflexibilitet, dataflödesrikedom, schemaläggningskapacitet och prestanda hos Apache Spark som körs på EC2-molnet. Genom att utnyttja datalokalitet, Kira SE uppnår en 3.7× speedup över ett likvärdigt C-program när man analyserar en 1TB dataset med 512 kärnor på Amazon EC2 molnet. Dessutom visar vi att Kira SE genom att utnyttja programvara som ursprungligen utformats för stordatainfrastruktur uppnår konkurrenskraftiga prestanda till C-implementationen som körs på NERSC Edison superdatorn. Vår erfarenhet med Kira visar att framväxande Big Data plattformar som Apache Spark är ett performant alternativ för många uppgifter vetenskapliga tillämpningar.
Det verkar som om REF, som använde Apache Spark för att utveckla en verktygslåda som heter Kira SE för att parallellisera källextraktion för astronomi bildbehandling, är det enda arbetet att redogöra för utförandet prestanda i radioastronomi applikationer.
Scientific computing meets big data technology: An astronomy use case
{'venue': '2015 IEEE International Conference on Big Data (Big Data)', 'journal': '2015 IEEE International Conference on Big Data (Big Data)', 'mag_field_of_study': ['Computer Science']}