Abstract-Recent tekniska framsteg inom modern hälso-och sjukvård har lett till förmågan att samla in en stor mängd patientövervakningsdata. Dessa data kan användas för patientdiagnos men har också potential för användning inom medicinsk forskning. Dessa datauppsättningar innehåller dock ofta fel som begränsar deras värde till medicinsk forskning, och en studie visar felfrekvenser på mellan 2,3 % -26,9 % i ett urval av medicinska databaser. Tidigare metoder för att automatiskt bedöma datakvaliteten bygger normalt på tröskelregler, som ofta inte kan identifiera fel på rätt sätt, eftersom ytterligare komplexa domänkunskaper krävs. För att bekämpa detta har ett semantiskt webbaserat ramverk tidigare utvecklats för att bedöma kvaliteten på medicinska data. Tidigt arbete, som enbart bygger på traditionell semantisk webbteknik, visade dock att de antingen är oförmögna eller ineffektiva när det gäller att skala upp till de stora mängderna medicinska data. I detta papper presenterar vi en ny metod för att lagra och fråga medicinska RDF dataset med Hadoop Map / Reduce. Detta tillvägagångssätt utnyttjar den inneboende parallellism som finns inom RDF-dataset och frågor, vilket gör att vi kan skala med både dataset och systemstorlek. Till skillnad från tidigare lösningar, använder detta ramverk högt optimerade (SPARQL) sammanfogningsstrategier, intelligent data caching och användning av en super-query för att möjliggöra slutförandet av åtta distinkt SPARQL-lookups, omfattande över åttio distinkta sammanfogar, i endast två Karta / Minska iterationer. Resultaten presenteras där man jämför både Jena och en tidigare Hadoop-implementation som visar den nya metodens överlägsna resultat. Den nya metoden visas vara fem gånger snabbare än Jena och dubbelt så snabb som den tidigare metoden.
Ett annat tillvägagångssätt som föreslås för att bedöma kvaliteten på storskaliga medicinska data implementerar Hadoop Map/Reduce REF.
Data quality assessment and anomaly detection via map/reduce and linked data: A case study in the medical domain
{'venue': '2015 IEEE International Conference on Big Data (Big Data)', 'journal': '2015 IEEE International Conference on Big Data (Big Data)', 'mag_field_of_study': ['Computer Science']}