Många tidskrävande analyser av nästa generations sekvenseringsdata kan hanteras med moderna molndata. Apache Hadoop-baserade lösningar har blivit populära inom genomik på grund av sin skalbarhet i en molninfrastruktur. Hittills har de flesta av dessa verktyg använts för batchdatabehandling snarare än interaktiv dataförfrågan. SparkSeq-programvaran har skapats för att dra nytta av ett nytt MapReduce-ramverk, Apache Spark, för nästa generations sekvenseringsdata. SparkSeq är ett generellt, flexibelt och enkelt förlängningsbart bibliotek för genomic cloud computing. Det kan användas för att bygga genomiska analysrörledningar i Scala och driva dem på ett interaktivt sätt. SparkSeq öppnar möjligheten för skräddarsydda ad hoc-sekundära analyser och iterativa maskininlärningsalgoritmer. Detta dokument visar sin skalbarhet och på det hela taget mycket snabba prestanda genom att utföra analyser av sekvensering av datauppsättningar. Tester av SparkSeq visar också att användningen av cache och HDFS blockstorlek kan ställas in för optimal prestanda på flera arbetsnoder. Under de senaste åren har nästa generations sekvensering (NGS) blivit den viktigaste tekniken som ger exakt insikt i genom och transkriptomer hos levande organismer. En vanlig sequencer kör producerar hundratals gigabas par av korta avläsningar. De experimentella resultaten (fastq eller anpassningsfiler) kan betraktas som stora data, särskilt med det stora antalet biologiska prover. Detta kan vara mindre överväldigande när labbtekniker för förval tillämpas eller när uppgifterna aggregeras. Beräkningsmässigt görs minskningen av dataseten genom att räkna avläsningarna i gener eller hitta genomvarianter. De resulterande räkna tabeller eller variant * till vilka korrespondens bör adresseras listor är då mycket mindre än de ursprungliga BAM-filer och i de flesta fall kan behandlas i minne. Aggregering och summering resulterar dock alltid i förlust av information om sådana fenomen som nya uttryck regioner, alternativ skarvning eller låg täckning områden. Sekvensering kan identifiera olika egenskaper hos genom och transkriptomer (Frazee et al., 2014; Leśniewska och Okoniewski, 2011) med en nukleotid precision men ofta storleken på dataset är oöverkomlig att studera sådana detaljer. Analysen av nucleotidelevel kan vara en drivkraft för de många nya och ytterligare tillämpningarna av sekvensering såsom upptäckt av linc-RNA, verifiering av gen- och UTR-gränser hos arten med oförutsedd annotation eller studier av alternativ splicering. Utvecklingen inom datavetenskapen, särskilt när det gäller distribuerade data och datormoln, försöker hålla jämna steg med den snabbt växande mängden experimentella data. Det finns flera tillämpningar redan tillgängliga, t.ex. (Taylor, 2010; Langmead m.fl., 2010; Schumacher m.fl., 2014). För närvarande finns det många initiativ inom IT och bioinformatik som kan användas för att skapa ett användbart och skalbart system för sekvensering av dataanalys. En av de mest använda parallella och distribuerade programmeringsmodellerna är MapReduce som har sin open-source implementation -Apache Hadoop (Borthakur, 2007). Eftersom det inledningsvis inte var möjligt att analysera NGS-data som lagrats i HDFS (Hadoop Distributed File System) utan konvertering till filformat som stöds av Apache Hadoop, utvecklades ett bibliotek Hadoop-BAM för direkt åtkomst och manipulation av format som vanligen används inom bioinformatik: BAM, FASTQ och VCF (Niemenmaa et al., 2012). Många analytiska verktyg som behandlar data inom Hadoops ekosystem har nyligen utvecklats i öppen källkodsgemenskapen: nya språk på hög nivå, databasmotorer och tillämpningsramar. De använder samma Apache Hadoop utförande modell, främst utformad och optimerad för onepass batch bearbetning av pådisk data men inte för interaktiv och in-minne ad-hoc data prospektering. Ett bra exempel på den framgångsrika kombinationen av Hadoop-BAM och Apache Pig språk är SeqPig, en förlängning för behandling av sekvensering data (Schumacher et al., 2014) liknande standard samtools (Li 1
Wiewiorka m.fl. REF har använt Spark för genomisk analys och funnit en nästan linjär upphastighet med antalet arbetarnoder.
SparkSeq: fast, scalable and cloud-ready tool for the interactive genomic data analysis with nucleotide precision
{'venue': 'Bioinformatics', 'journal': 'Bioinformatics', 'mag_field_of_study': ['Computer Science', 'Medicine']}