Becker m.fl. Nästa generations sekvensering (NGS) är drivkraften bakom precisionsmedicin och revolutionerar de flesta, om inte alla, områden inom biovetenskapen. Särskilt när det gäller de större vanliga sjukdomarna förutses en exponentiell tillväxt av NGS-data under de kommande årtiondena. Denna enorma ökning av NGS-data och behovet av att behandla data snabbt för verkliga tillämpningar kräver att vi omprövar våra nuvarande beräkningsinfrastrukturer. Här ger vi bevis för att minnesdriven dator (MDC), en ny minnescentrerad maskinvaruarkitektur, är ett attraktivt alternativ till nuvarande processorcentrerade datorinfrastrukturer. För att illustrera hur MDC kan ändra hantering av NGS-data använde vi RNA-seq-montering och pseudoalignering följt av kvantifiering som två första exempel. Anpassning av transkriptome monteringsrörledningar för MDC minskade beräkningstiden med 5,9-faldigt för det första steget (SAMtools). Ännu mer imponerande, pseudoalignment av nära-optimal probabilistisk RNA-seq kvantifiering (kallisto) påskyndades av mer än två storleksordningar med identisk noggrannhet och indikerade 66% minskad energiförbrukning. En miljard RNA-seq-avläsningar behandlades på bara 92 sekunder. Det är uppenbart att MDC samtidigt minskar databearbetningstiden och energiförbrukningen. Tillsammans med MDC-baserade lösningar för lokal dataintegritet kan en ny beräkningsmodell projiceras som driver storskalig behandling av NGS-data och primär dataanalys närmare kanten genom att direkt kombinera avancerade sekvenser med lokal MDC, vilket också minskar förflyttningen av stora rådata till central molnlagring. Vi föreställer oss vidare att andra datarika områden på liknande sätt kommer att dra nytta av denna nya minnescentrerade beräkningsarkitektur. Nästa generations sekvensering (NGS) och dess många olika tillämpningar förändrar livs- och medicinska vetenskaper 1,2,3,4 vilket återspeglas av en exponentiell 860-faldig ökning av publicerade datamängder under de senaste 10 åren (Fig. 1a).............................................................................................. Med tanke på endast mänsklig genomsekvensering, har ökningen av genomiska data under nästa årtionde uppskattats till mer än tre Exabyte (3x10 18 byte) 5. NGS data beräknas bli på samma nivå som antingen datainsamlingar såsom i astronomi eller YouTube eller de mest krävande när det gäller datainsamling, lagring, distribution och analys. Dessutom, eftersom en av hörnstenarna i genomforskning och tillämpning är jämförande analys mellan olika prover, kommer långtidslagring av genomiska data att vara obligatorisk. För att klara av denna data lavin, hittills, beräknas effekten helt enkelt ökas genom att bygga större högpresterande datorkluster (HPC) (fler processorer / kärnor), och genom att skala ut och centralisera datalagring (molnlösningar) 6, 7. Även om det för närvarande fortfarande är legitimt kan man redan förutse att denna strategi inte är hållbar. Centraliserad lagring och databehandling leder till ökad datarörelse, data dubblering och ytterligare risker för datasäkerhet och integritet. Detta är av särskilt intresse med tanke på den senaste tidens lagar om dataskydd som har införts (t.ex. den allmänna dataskyddsförordningen (GDPR) i Europeiska unionen) 8. En annan viktig aspekt som kräver omtänkande algoritmer och den nödvändiga beräkna infrastruktur för att klara de växande kraven på genomisk forskning är den enorma energiförbrukningen av datacenter som tillhandahåller respektive molntjänster. Dessutom, eftersom många aktuella algoritmer inte expanderar väl med ökande datavolymer, bara öka (skalning ut) klassiska HPC-infrastrukturer kanske inte räcker. En lösning på dessa nya begränsningar kräver en minskning av 1) beräkna tid, 2) data förflyttning, 3) data dubblering, och 4) energi fot utskrift till ett minimum, samtidigt öka 5) uppgifter och integritetsskydd på samma gång. Vi tog itu med dessa frågor genom att kombinera en ny maskinvaruarkitektur - dvs minnesdriven dator (MDC) - med optimerade algoritmer inom genomisk dataanalys. Alla klassiska datorer, från bärbara datorer till superdatorer, är baserade på von Neumann arkitektur från Memory-driven dator 3 i CPU-Cores (upp till 224) och minne (upp till 12TB). Servers (standalone, rackmount eller bladsystem) kan samlas över högpresterande sammanlänkningar för att skala CPU-resurser och arbetsbelastningar kan sättas in på klustret med hjälp av en schemaläggare. Specialiserade HPC-system kan minska rymdbehovet ytterligare genom högre integration. Nuförtiden kan skala upp sammankopplade system ge upp till 48 TB av huvudminnet fungerar som en enda server instans. I motsats till von Neumanns arkitektur (Extended Data Bild. 1a), MDC kan samla stora, delade och ihållande (lagringsklass) minne och ansluter detta minne och beräkna resurser (CPU) via ett tyg som följer Gen-Z protokollet ("Fabric Bifogat minne", FAM) (Extended Data Bild.  1b) 10............................................................................. Medan traditionella system är processor-centrerade (Extended Data Bild. 1a), i MDC FAM är den centrala komponenten (Extended Data Bild. 1b ) och därigenom undvika I/O (Extended Data Bild. 1c ) genom att tillåta alla processorer att direkt komma åt FAM (Extended Data Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. MDC-arkitekturen gör det möjligt för alla processorer i klustret att arbeta på delade data samtidigt och kombinationen av MDC och Gen-Z-protokollet ger den nödvändiga byte-adresserbara skalningen upp till 4096 Yottabyte (2 92 byte) av FAM (Extended Data Fig. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Ändå kan långtidslagring eller arkivering fortfarande nås via traditionell I/O-hantering (Extended Data Fig. 1f)............................................................................................................ MDC har förverkligats som en prototypsystem som kallas Memory Fabric Testbed (MFT) med 160 TB minne, men konceptet kan också emuleras på klassisk arkitektur med hjälp av en FAM Emulation (FAME) programvara 11. Man har gissat att processtid och beräkna effekt kan minskas avsevärt genom att eliminera behovet av I/O-hantering inom applikationen. Användningen av så kallade "in-memory"-behandlingssystem har varit ett första försök i denna riktning, men till skillnad från MDC erbjuder dessa system inte ett stort ihållande minne och kräver fortfarande att uppgifter hämtas och lagras för behandling från I/O-baserade lagringssystem. Genomiska databehandling pipelines består ofta av seriella uppgifter. Med hjälp av klassisk maskinvaruinfrastruktur lastar varje uppgift små delar av en stor datamängd från lagring till lokalt flyktigt minne (RAM) och skriver tillbaka sina resultat (Fig. 1c)........................................................................................................... Efterföljande uppgifter måste hämta data igen, vilket medför hög filåtkomst overhead 13. Med MDC kan alla data hållas i minnet (Fig. 1d ) och nås vid behov genom hela rörledningen, och därmed undvika påföljder i samband med flytta data till disk mellan rörledning stadier. Två huvudsakliga anpassningar krävs för att flytta applikationer till MDC: optimering per applikation (Extended Data Fig. 2a ) och optimering av rörledningar (Extended Data Bild. 2b)........................................................................................................... För det första kan enskilda applikationer modifieras för effektivare dataåtkomst, och mängden minne gör det möjligt att optimera inbyggda datastrukturer för bearbetningshastighet. För det andra kan datautbytet mellan delar av rörledningen optimeras genom att man inte bara läser ur minnet utan också använder sig av in-minnesdataformat som minskar kostsamma datatransformationer och tolkning över hela bearbetningsledningen. Oavsett källa, kräver alla NGS-data lång förbehandling genom antingen anpassning (inklusive pseudoalignering) till en kommenterad referens eller de novo montering tidigare RNA-seq kvantifiering och ytterligare dataanalys 14, 15. För att visa fördelarna med MDC för RNA-seq anpassning och kvantifiering använde vi en av de snabbaste metoderna som infördes som nära-optimal probabilistisk RNA-seq kvantifiering (kallisto) 16. För närvarande läser Kallisto små bitar av data på ett seriellt sätt och bearbetar dem parallellt (Fig. 2a, orig/värd). Den ändrade versionen av Kallisto övervinner däremot flaskhalsen för dataåtkomst genom att tillåta slumpmässig parallell åtkomst och bearbetning av större datapaket (Fig. 2a, mdc/FAME, mdc/host). Den modifierade versionen av kallisto kan köras direkt på klassiska system med tillräckligt stort minne (RAM) eller via FAME-emuleringsmiljön (för ytterligare tekniska detaljer se Metoder). Vi undersökte våra ändringar med hjälp av RNA-seq dataset (ERR188140) med 140 x 10 6 avläsningar infördes nyligen 16 (Fig.  2b, c, d ) på två system för den klassiska arkitekturen (Blades, Superdome X (SDX), Bild 2b, c) och MFT för MDC arkitektur (Fig. 1d, Extended Data Bild 3)............................................................... Våra resultat visar tydligt att ändringarna av Kallisto avsevärt minskade körtiden inom vart och ett av de testade systemen (Fig. Denna förordning träder i kraft dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Inte Becker et al. Minnesdriven dator 4 oväntat, emulering inte producerar samma vinst som infödd hårdvara, men även under dessa förhållanden MDC-modifierad kod visade en betydande vinst över originalet. För att bestämma allmän tillämplighet och skalning samlade vi in 1181 allmänt tillgängliga RNA-seq-datamängder från blodgivare med olika sjukdomar från totalt 19 studier (Extended Data Fig. 4)................................................................. För att utesluta all påverkan av den underliggande hårdvaran använde vi både Blades och SDX-miljön. Alla RNA-seq-datamängderna behandlades med både den ursprungliga kallistoversionen och den MDC-modifierade versionen antingen inom FAME-miljön eller direkt på systemet (Fig. 2e, f).............................................................................................................. Oberoende av storleken på den individuella datauppsättningen, har den MDC-modifierade algoritmen alltid överträffat den ursprungliga versionen både inom FAME och direkt på hårdvaran vilket resulterar i minskad körtid på upp till 13,4-faldig. Ännu mer förvånande ökningen av prestanda var oproportionerligt högre med större datastorlek. Vi bedömde vidare kärn- och användartider (Methods) och fann att kärntiden var försumbar (data visas inte) medan användartiden avslöjade en minskning med 66% av den MDC-modifierade versionen av kallisto när den utfördes direkt på bladen eller SDX (Extended Data Fig. 5a, b)............................................................................ Även med tanke på parallellism av databehandling vi observerade en upp till 112-faldig minskning av beräkna tid i jämförelse med den ursprungliga hårdvaran och programvaruinställningar. För att bestämma noggrannheten mellan de olika versionerna av algoritmen jämförde vi de RNA-seq-resultat som härleddes av den ursprungliga versionen av kallisto, den MDC-modifierade versionen och två alternativa anpassare (HiSat2, STAR) (Fig. 3a)................................................................. MDC-modifiering till kallisto visade endast mycket små skillnader (korrelation 1-7,5x10 -9 ), medan vi observerade lägre korrelationer med HiSat2 och STAR, ett fynd som tidigare rapporterades 16. Vi har valt transkriptome montering för att visa effekten av pipeline breda optimeringar (för detaljerad teknisk beskrivning se metoder). Vi följde de åtgärder som föreslogs av Pertea et al. 17 och har fokuserat på SAMtools 18 och StringTie 19 som löper seriellt med I/O-baserat datautbyte (Extended Data Bild.  Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Tidigare arbete av Hajj et al. 20 visade att in-minne bearbetning kan påskynda SAMtools. Vi har modifierat sorteringsfunktionen för att ladda och sortera data parallellt utan tillfälliga filer och för att hålla resultaten i minnet för StringTie för att undvika diskbaserat datautbyte. Våra första resultat på SAMtools visar en signifikant acceleration på upp till 5,9 gånger på bladen och SDX för datamängden ERR188140 (Fig. 4a, b)............................................................................ Dessa fynd stöddes av den större uppsättningen 1181 urvalsdata (Fig. 4c, d).......................................................................................................... Det framtida arbetet kommer att inriktas på att ta itu med de nuvarande flaskhalsarna i StringTie. Kollektivt, genomisk forskning och användning av genomiska data för precisionsmedicin kräver betydande minskning av beräkna tid, datarörelser, data dubblering och energiförbrukning. Vi ger övertygande bevis för att dessa mål kan uppnås genom att flytta genomisk databehandling till MDC, som exemplifieras för RNA-seq montering och pseudoalignment. Med tanke på ökningen av minne också möjliggör en ökning av parallellism av databehandling visar vi en upp till 112-faldig minskning av beräkna tid i jämförelse med den tidigare använda enda kärna systemet för förmodligen en av de mest sofistikerade RNA-seq data kvantifieringsstrategier som finns tillgängliga hittills (kallisto) 16. Inom ett datorsystem ledde ändringarna av Kallisto till upp till 13,4-faldig minskning av körtiden och upp till 66% minskning av användartiden (Metoder), vilket är en indikator för minskad energiförbrukning. Likaså observerades en signifikant minskning av drifttiden för det första steget i sammansättningen av RNA-seq-data. Vi förutspår att liknande resultat för databehandling kan erhållas för alla andra NGS-baserade data (t.ex. genom och epigenom anpassning och montering) även upp till en enda cell nivå. Våra resultat visar tydligt att vi kan få stora fördelar genom att investera i både optimerade dataanalysalgoritmer samt den underliggande hårdvaran och programvaruinfrastrukturen. MDC verkar vara en idealisk arkitekturmodell eftersom den uppfyller kraven för framtida databehandling inom biomedicinsk forskning. MDC är centrerad på data snarare än processorer (Extended Data Figur 1b) ; är modulär på grund av minnesväv specifikationer (Gen-Z) (Extended Data Bild. 6a) ; möjliggör integrering av specialiserad analys hårdvara 21
Minnesdriven dator REF, i denna forskning en enorm pool av olika typer av minnen skapade och kopplade till bearbetningsresurser genom Gen-Z kommunikationsprotokoll.
Memory-driven computing accelerates genomic data processing
{'venue': None, 'journal': 'bioRxiv', 'mag_field_of_study': ['Biology']}