Abstract-Med början av extrem skala dator, I/O begränsningar gör det allt svårare för forskare att spara en tillräcklig mängd rå simuleringsdata till ihållande lagring. En potentiell lösning är att ändra dataanalys pipeline från en post-process centrerad till en samtidig metod baserad på antingen in-situ eller in-transit bearbetning. I detta sammanhang betraktas beräkningar in-situ om de använder de primära beräkna resurser, medan in-transit bearbetning avser avlastning beräkningar till en uppsättning sekundära resurser med asynkrona dataöverföringar. I denna uppsats utforskar vi utformningen och genomförandet av tre gemensamma analystekniker som vanligtvis utförs på storskaliga vetenskapliga simuleringar: topologisk analys, beskrivande statistik och visualisering. Vi sammanfattar algoritmisk utveckling, beskriver ett resursschemaläggningssystem för att samordna genomförandet av olika analysarbetsflöden, och diskuterar vårt genomförande med hjälp av ramverken DataSpaces och ADIOS som stöder effektiv datarörelse mellan in-situ och in-transit beräkningar. Vi demonstrerar effektiviteten i vårt lätta, flexibla ramverk genom att distribuera det på Jaguar XK6 för att analysera data som genereras av S3D, en massivt parallell turbulent förbränningskod. Vårt ramverk gör det möjligt för forskare som arbetar med datadjupet i extrem skala att utföra analyser vid ökade tidsupplösningar, minska I/O-kostnader och avsevärt förbättra tiden till insikt.
Bennett m.fl. REF använder både in-line och in-transit tekniker för analys och visualisering av en turbulent förbränningskod.
Combining in-situ and in-transit processing to enable extreme-scale scientific analysis
{'venue': '2012 International Conference for High Performance Computing, Networking, Storage and Analysis', 'journal': '2012 International Conference for High Performance Computing, Networking, Storage and Analysis', 'mag_field_of_study': ['Computer Science']}