Vågen av ny teknik inom genomik - såsom "tredje generationens" sekvenseringsteknik 1, sofistikerade bildsystem och masspektrometribaserade flödescytometri 2 - gör det möjligt att generera data på aldrig tidigare skådade skalor. Som ett resultat kan vi övervaka uttrycket av tiotusentals gener samtidigt 3, 4, poäng hundratusentals SNPs i enskilda prover 5, sekvens en hel mänsklig genom för mindre än US$ 5000 (Ref. 6) och relatera dessa datamönster till annan biologiskt relevant information. Under ett år kommer genomteknik att göra det möjligt för enskilda laboratorier att generera terabyte eller till och med petabyteskalor av data till en rimlig kostnad. Den beräkningsinfrastruktur som krävs för att underhålla och bearbeta dessa storskaliga datamängder, och för att integrera dem med andra storskaliga uppsättningar, är dock vanligtvis utom räckhåll för små laboratorier och utgör i allt högre grad utmaningar även för stora institut. Som tur är är beräkningsfältet fullt av möjligheter att tillgodose dessa behov. Livsforskare har börjat låna lösningar från områden som högenergipartikelfysik och klimatologi, som redan har passerat genom liknande böjningspunkter. Företag som Microsoft, Amazon, Google och Facebook har också blivit mästare på petabyte-skala datamängder - eftersom de har länkat bitar av data som distribueras över en massivt parallell arkitektur som svar på en användares önskemål och presentera dem för användaren på några sekunder. Efter dessa framsteg som gjorts av andra ger vi en översikt och vägledning om vilka typer av beräkningsmiljöer som för närvarande finns och som inom den närmaste framtiden kan ta itu med många av de stora dataproblem som biovetenskaperna nu står inför. Beräkningslösningarna sträcker sig från molnbaserade datorer till en framväxande revolution i snabba, billiga heterogena beräkningsmiljöer. Men är livsforskare redo att ta till sig dessa möjligheter? Om du är en livsforskare konfronteras med uppgiften att analysera en Mount Everest data, och du undrar hur man kan härleda mening från dem med hjälp av Microsoft Excel 2007: s 1.048.576 rad och 16.384 kolumn gräns, då denna artikel kommer att ta dig genom de steg som behövs för att du ska kunna konkurrera med mer beräkningskunniga grupper. I denna översyn definierar vi de typiska arbetsflöden som är förknippade med generering av biologiska data med hög genomströmning, utmaningarna i dessa arbetsflöden, och hur molndata och heterogena beräkningsmiljöer kan hjälpa oss att övervinna dessa utmaningar. Vi beskriver sedan hur komplexa datamängder kan destilleras för att få högre biologiska relationer, och vi diskuterar den riktning som beräkningen måste ta för att hjälpa oss att främja vår förståelse på cell-, vävnads-, organism-, populations- och samhällsnivå. För att förstå hur levande system fungerar krävs integrering av de många skikt av biologisk information som höggenomströmningsteknik genererar. Till exempel kommer mängden data från stora projekt som 1000 Genomes kollektivt att närma sig petabyteskalan enbart för rådata. Situationen kommer snart att förvärras av tredje generationens abstraktion av de underliggande maskinvaruarkitekturerna (t.ex. servrar, lagring och nätverk) som möjliggör bekväm tillgång till nätverk på begäran till en gemensam pool av datorresurser som lätt kan tillhandahållas och släppas. Sammanfattning Idag kan vi generera hundratals gigabaser av DNA- och RNA-sekvensering data i en vecka för mindre än $ 5000. Den häpnadsväckande hastigheten av datagenerering av dessa lågkostnads, hög-genomgång teknologier i genomik matchas av andra tekniker, såsom realtidsavbildning och masspektrometri-baserade flödescytometri. Framgång inom life sciences kommer att bero på vår förmåga att korrekt tolka de storskaliga, högdimensionella datamängder som genereras av dessa tekniker, vilket i sin tur kräver att vi antar framsteg inom informatik. Här diskuterar vi hur vi kan bemästra de olika typer av beräkningsmiljöer som finns - som moln och heterogena datorer - för att framgångsrikt ta itu med våra stora dataproblem.
Cloud computing utvecklas främst av stora internetbaserade företag som Amazon, Google och Microsoft som gör stora investeringar i "mega-scale" beräkningskluster och avancerade, storskaliga datalagringssystem REF.
Computational solutions to large-scale data management and analysis
{'venue': 'Nature Reviews Genetics', 'journal': 'Nature Reviews Genetics', 'mag_field_of_study': ['Medicine', 'Biology']}