Abstract-Data producenter optimerar vanligtvis layouten av datafiler för att minimera skrivtiden. I de flesta fall, dataanalys uppgifter läsa dessa filer i åtkomst mönster skiljer sig från skriva mönster orsakar dålig läsprestanda. I detta dokument introducerar vi Scientific Data Services (SDS), ett ramverk för att överbrygga prestandaklyftan mellan skrivande och läsning av vetenskapliga data. SDS omorganiserar data för att matcha läsmönstren för analysuppgifter och möjliggör transparenta dataavläsningar från de omorganiserade data. Vi implementerade en HDF5 Virtual Object Layer (VOL) plugin för att omdirigera HDF5 datauppsättning lässamtal till den omorganiserade data. För att visa effektiviteten av SDS, tillämpade vi två parallella data organisation tekniker: en sort-baserad organisation på en plasmafysik data och en införliva-baserad organisation på masspektrometri avbildningsdata. Vi utökade också HDF5-dataåtkomst API för att möjliggöra val av data baserat på deras värden genom ett frågegränssnitt, som kallas SDS Query. Vi utvärderade exekveringstiden för att få tillgång till olika undergrupper av data genom befintliga HDF5 Read API och SDS Query. Vi visade att läsa den omorganiserade data med hjälp av SDS är upp till 55X snabbare än att läsa den ursprungliga data.
SDS REF omorganiserar data för att matcha läsmönstren för analytiska uppgifter för att påskynda läsoperationer.
Expediting scientific data analysis with reorganization of data
{'venue': '2013 IEEE International Conference on Cluster Computing (CLUSTER)', 'journal': '2013 IEEE International Conference on Cluster Computing (CLUSTER)', 'mag_field_of_study': ['Computer Science']}