Bakgrund: Genomisk information används alltmer i medicinsk praxis vilket ger upphov till behovet av effektiva analysmetoder som kan hantera tusentals individer och miljontals varianter. Den allmänt använda Hadoop MapReduce arkitektur och tillhörande maskininlärning bibliotek, Mahout, ger medel för att hantera beräkning utmanande uppgifter. Många genomiska analyser passar dock inte in i Map-Reduce-paradigmet. Vi utnyttjar därför den nyligen utvecklade SPARK-motorn, tillsammans med dess tillhörande maskininlärningsbibliotek MLlib, som erbjuder större flexibilitet i parallelliseringen av bioinformatikuppgifter i populationsskala. Det resulterande verktyget VARIANTSPARK tillhandahåller ett gränssnitt från MLlib till standardvariantformatet (VCF), erbjuder sömlös genomomfattande provtagning av varianter och tillhandahåller en pipeline för visualisering av resultat. Resultat: För att visa kapaciteten hos VARIANTSPARK klustrade vi mer än 3 000 individer med 80 miljoner varianter vardera för att bestämma befolkningsstrukturen i datasetet. VARIANTSPARK är 80 % snabbare än SPARK-baserad genomklustringsmetod, ADAM, det jämförbara genomförandet med Hadoop/Mahout, samt ADMIXTURE, ett vanligt verktyg för att bestämma individuella förfäder. Det är över 90 % snabbare än traditionella implementationer med R och Python. Slutsats: Fördelarna med hastighet, resursförbrukning och skalbarhet gör det möjligt för VARIANTSPARK att öppna upp användningen av avancerade, effektiva maskininlärningsalgoritmer för genomiska data.
För att åtgärda bristerna i ADMIXTURE föreslogs VariantSpark av Aidan R. et al. REF, som ger ett gränssnitt från MLlib till standardvariantformat (VCF) som erbjuder en sömlös genom-omfattande provtagning av varianter och ger en pipeline för visualisering resultat från 1000 Genomes Project och Personal Genome Project (PGP).
VariantSpark: population scale clustering of genotype information
{'venue': 'BMC Genomics', 'journal': 'BMC Genomics', 'mag_field_of_study': ['Biology', 'Medicine']}