I takt med att datainsamlingen blir större och större ställs användarna inför ökande flaskhalsar i sin dataanalys. Mer data innebär mer tid att förbereda och ladda data i databasen innan du utför de önskade frågorna. Många tillämpningar undviker redan att använda databassystem, till exempel vetenskaplig dataanalys och sociala nätverk, på grund av komplexiteten och den ökade data-till-query-tiden, det vill säga tiden mellan att få data och hämta sina första användbara resultat. För många applikationer fortsätter datainsamlingen att växa snabbt, även dagligen, och denna dataflod kommer bara att öka i framtiden, där den förväntas ha mycket mer data än vad vi kan flytta eller lagra, för att inte tala om att analysera. Vi presenterar här utformningen och färdplanen för ett nytt paradigm i databassystem, kallat NoDB, som inte kräver datainläsning samtidigt som hela funktionen i ett modernt databassystem bibehålls. I synnerhet visar vi hur man gör rådata filer en förstklassig medborgare, helt integrerad med frågemotorn. Genom vår design och våra lärdomar genom att implementera NoDB-filosofin över ett modernt databashanteringssystem (DBMS) diskuterar vi såväl de grundläggande begränsningarna som de starka möjligheter som en sådan forskningsväg medför. Vi identifierar prestandaflaskhalsar specifika för in situ bearbetning, nämligen den upprepade tolkning och tokenizing overhead och dyra data typ omvandling. För att ta itu med dessa problem inför vi en adaptiv indexeringsmekanism som upprätthåller positionsinformation för att ge effektiv tillgång till råa datafiler, tillsammans med en flexibel cachestruktur. Vi drar slutsatsen att NoDB system är genomförbara för att designa och implementera över moderna DBMS, vilket ger en aldrig tidigare skådad positiv effekt i användbarhet och prestanda.
NoDB-metoden argumenterar för att eliminera en sådan ETL-fas och möjliggöra en direkt tillgång till data i rådata filer REF.
NoDB: efficient query execution on raw data files
{'venue': 'CACM', 'journal': None, 'mag_field_of_study': ['Computer Science']}