Systemen Abstract-Checkpoint/Restart (C/R) har i stor utsträckning använts av många bibliotek [1–3] för att uppnå feltolerans. En betydande begränsning av sådana mekanismer är dock den intensiva IO-flaskan som orsakas av behovet av att dumpa ögonblicksbilder av alla processer till ihållande lagring. Flera studier har genomförts för att minimera denna overhead [4, 5], men de flesta av dessa föreslagna optimeringar utförs inuti specifika MPI stack eller checkpointing bibliotek eller applikationer, därför är de inte portabla nog att tillämpas på andra MPI stackar och applikationer. I detta dokument föreslår vi ett filsystembaserat tillvägagångssätt för att lindra denna kontrollpunkt IO flaskhals. Vi föreslår ett nytt filsystem, som heter Checkpoint-Restart Filesystem (CRFS), som är ett lätt filsystem på användarnivå baserat på FUSE (Filesystem i Userspace). CRFS är utformad med Checkpoint/Restart I/O trafik i åtanke för att effektivt hantera samtidiga skrivförfrågningar. Alla programvarukomponenter som använder standardfilsystemgränssnitt kan öppet dra nytta av CRFS kapacitet. CRFS avlyssnar checkpoint-filskrivsystemets samtal och aggregerar dem till färre större bitar som asynkront skrivs till det underliggande filsystemet för effektivare IO. CRFS hanterar en flexibel intern IO trådpool för att strypa samtidig IO för att lindra IO- strid för bättre IO prestanda. CRFS kan monteras över alla vanliga filsystem som ext3, NFS och Lustre. Vi har implementerat CRFS och utvärderat dess prestanda med hjälp av tre populära C/R kapabla MPI stackar: MVAPICH2, MPICH2 och OpenMPI. Experimentella resultat visar betydande prestandavinster för alla tre MPI stackar. CRFS uppnår upp till 5,5X-hastighet i kontrollpunktsskrivande prestanda till Lustre filsystem. Liknande förbättringar uppnås också med filsystem ext3 och NFS. Såvitt vi vet är detta det första bärbara och lätta filsystemet utformat för generiska Checkpoint/Restart data.
En liknande insats närmare vår egen strategi, CRFS REF, förlitar sig på FUSE för att stoppa checkpoint filskrivsystemet samtal och aggregera dem i färre större bitar som sedan asynkront skrivs till den underliggande filsystemet.
CRFS: A Lightweight User-Level Filesystem for Generic Checkpoint/Restart
{'venue': '2011 International Conference on Parallel Processing', 'journal': '2011 International Conference on Parallel Processing', 'mag_field_of_study': ['Computer Science']}