Med SIMT-utförandemodellen kan GPU dölja minneslatens genom massiv multitrådning för många program som har regelbundna minnesåtkomstmönster. För att stödja program med oregelbundna minnesåtkomstmönster har cachehierarkier införts i GPU-arkitekturer för att fånga tids- och rumslig lokalitet och mildra effekten av oregelbunden åtkomst. GPU-cacher uppvisar dock dålig effektivitet på grund av missmatchningen i den genomströmningsorienterade genomförandemodellen och dess utformning av cachehierarki, vilket begränsar systemets prestanda och energieffektivitet. Den massiva mängden av minnesförfrågningar som genereras av GPU:er orsakar cacheinnehåll och överbelastning av resurser. Befintliga CPU-cachehanteringspolicyer som är utformade för flerkärniga system, kan vara suboptimala när de tillämpas direkt på GPU-cache. Vi föreslår en specialiserad policy för hantering av cache för GPGPU. cachehierarkin skyddas från strid genom bypass-policyn baserad på återanvändningsavstånd. Tanke- och resursstockningar upptäcks i körtid. För att undvika övermättning av resurser på chipet samordnas bypass-policyn med warpthrotting för att dynamiskt styra det aktiva antalet warp. Vi föreslår också en enkel prediktor att dynamiskt uppskatta det optimala antalet aktiva warp som kan dra full nytta av cacheutrymme och on-chip resurser. Experimentella resultat visar att cacheeffektiviteten förbättras avsevärt och att resurser på chip används bättre för cachekänsliga riktmärken. Detta resulterar i en harmonisk genomsnittlig IPC-förbättring på 74 % respektive 17 % (maximalt 661 % respektive 44 % IPC-förbättring), jämfört med GPU-arkitekturen vid baseline respektive optimal statisk warpthrotting.
Chen och Al. REF har föreslagit en ny specialiserad policy för hantering av cache för GPGPU.
Adaptive Cache Management for Energy-Efficient GPU Computing
{'venue': '2014 47th Annual IEEE/ACM International Symposium on Microarchitecture', 'journal': '2014 47th Annual IEEE/ACM International Symposium on Microarchitecture', 'mag_field_of_study': ['Computer Science']}