Abstract-Memory storlek har länge begränsade storskaliga applikationer på högpresterande datorsystem (HPC). Eftersom beräkning noder ofta inte har byta utrymme, fysiskt minne ofta begränsar problemstorlekar. Ökade kärnvärden per chip och begränsningar av effekttätheten, vilket begränsar antalet DIMM per nod, har förvärrat detta problem. Dram utgör dessutom en betydande del av HPC-systemets totala kostnad. Därför, i stället för att lägga till mer DRAM till noderna, mekanismer för att hantera minnesanvändning mer effektivt - helst transparent-kan öka effektiv DRAM kapacitet och därmed fördelen av multicore noder för HPC-system. Applikationsprocesser för MPI uppvisar ofta betydande datalikhet. Dessa dataregioner upptar flera fysiska platser över de enskilda rangprocesserna inom en multicore nod och erbjuder därmed en potentiell besparing av minneskapaciteten. Dessa regioner, som i första hand bor i högar, är dynamiska, vilket gör dem svåra att hantera statiskt. Vårt nya minnesallok-bibliotek, SBLLmalloc, identifierar automatiskt identiska minnesblock och sammanfogar dem till en enda kopia. Vårt genomförande är transparent för programmet och kräver inga kärnändringar. Sammantaget visar vi att SBLLmalloc minskar minnesavtrycket för en rad MPI-tillämpningar med i genomsnitt 32,03 % och upp till 60,87 %. Dessutom stöder SBLLmalloc problemstorlekar för IRS över 21,36% större än med hjälp av standard memory management tekniker, vilket avsevärt ökar effektiv systemstorlek. På samma sätt kräver SBLLmalloc 43,75 % färre noder än vanliga minneshanteringstekniker för att lösa ett AMG-problem.
SBLLmalloc REF är ett användarbibliotek som kan identifiera identiska minnesblock på samma maskin och sammanfoga dem för att minska minnesanvändningen för storskaliga applikationer i HPC-system.
Exploiting Data Similarity to Reduce Memory Footprints
{'venue': '2011 IEEE International Parallel & Distributed Processing Symposium', 'journal': '2011 IEEE International Parallel & Distributed Processing Symposium', 'mag_field_of_study': ['Computer Science']}