Vi presenterar en ny lagringshanterare för flerdimensionella matriser som uppstår i vetenskapliga tillämpningar, som är en del av ett större vetenskapligt datahanteringssystem som heter TileDB. Till skillnad från befintliga lösningar är TileDB optimerad för både täta och glesa matriser. Dess viktigaste idé är att organisera array element i beställda samlingar som kallas fragment. Varje fragment är tät eller gles, och grupper contiguous array element till dataplattor med fast kapacitet. Organisationen till fragment förvandlar slumpmässiga skriver till sekventiella skriver, och i kombination med en roman läsalgoritm, leder till mycket effektiva avläsningar. TileDB möjliggör parallellisering via multi-trådning och multibearbetning, vilket erbjuder gäng- / process-säkerhet och atomicitet via lätt låsning. Vi visar att TileDB levererar jämförbar prestanda till HDF5-lagringshanteraren, samtidigt som den ger mycket snabbare slumpmässiga skrivningar. Vi visar också att TileDB erbjuder betydligt snabbare avläsningar och skriver än SciDB array databassystem med både täta och glesa matriser. Slutligen visar vi att TileDB är betydligt snabbare än anpassningar av Vertica relational kolumn-lager för tät array lagring, och minst lika snabbt för fallet med glesa arrayer.
TileDB REF är en matrislagringshanterare och tillhandahåller inbäddbara bibliotek för att effektivt hantera både täta och glesa matriser, vilket ger snabba uppdateringar.
The TileDB Array Data Storage Manager
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}