Många vetenskapliga tillämpningar har stora I/O-krav, både när det gäller storleken på data och antalet filer eller datamängder. Hantering, lagring, effektiv åtkomst och analys av dessa data är en mycket utmanande uppgift. Traditionellt används två olika lösningar för detta problem: fil I/O eller databaser. Fil I/O kan ge hög prestanda men är tröttsamt att använda med ett stort antal filer och stora och komplexa datamängder. Databaser kan vara bekväma, flexibla och kraftfulla men inte prestera och skala väl för parallella supercomputing applikationer. Vi har utvecklat ett mjukvarusystem, Scientific Data Manager (SDM), som syftar till att kombinera bra funktioner i både fil I/O och databaser. SDM tillhandahåller ett API på hög nivå till användaren och använder internt ett parallellt filsystem för att lagra verkliga data och en databas för att lagra applikationsrelaterade metadata. SDM utnyttjar olika I/O-optimeringar som finns i MPI-IO, t.ex. kollektiv I/O och icke sammanhängande förfrågningar, på ett sätt som är transparent för användaren. Som ett resultat, användare kan skriva och hämta data med prestandan av parallellfil I/O, utan att behöva bry sig om detaljerna i faktiskt utför fil I/O. I detta dokument beskriver vi utformningen och genomförandet av SDM. Med hjälp av två parallella tillämpningsmallar, ASTRO3D och en Euler-lösning, illustrerar vi hur några av designkriterierna påverkar prestandan.
BXGrid liknar också SDM REF eftersom vi har kopplat en databas till ett filsystem.
Integrating parallel file I/O and database support for high-performance scientific data management
{'venue': "SC '00", 'journal': None, 'mag_field_of_study': ['Computer Science']}