Traditionella databaser är inte utrustade med tillräcklig funktionalitet för att hantera volymen och variationen av "Big Data". Strikt schema definition och data lastning är förutsättningar även för den mest primitiva frågesession. Behandling av rådata har föreslagits som ett alternativ till schema på begäran som ger omedelbar tillgång till uppgifterna. När lastning är ett alternativ, drivs det uteslutande av den aktuella frågan, vilket resulterar i suboptimal prestanda över en frågebörda. I detta dokument undersöker vi problemet med arbetsbelastningsdriven behandling av rådata med partiell lastning. Vi modellerar laddning som full-replicerad binär vertikal partitionering. Vi erbjuder ett linjärt blandat heltal programmering optimering formulering som vi visar sig vara NP-hård. Vi designar en tvåstegs heuristic som kommer inom nära räckhåll för den optimala lösningen på en bråkdel av tiden. Vi utökar optimeringsformuleringen och heurismen till piped raw data processing, scenario där data åtkomst och utvinning utförs samtidigt. Vi tillhandahåller tre fallstudier över verkliga dataformat som bekräftar att modellen är korrekt när den implementeras i en toppmodern pipelineoperatör för behandling av rådata.
Vertikal partitionering för rådata REF förutsätter kunskap om datauppsättningen och arbetsbelastningen i förväg för att optimera arbetsbelastningens genomförandetid genom att ladda den optimala delmängd av rådata i en DBMS.
Workload-Driven Vertical Partitioning for Effective Query Processing over Raw Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}