Generativa Adversarial Networks (Gans) är en av de senaste modellerna för djupinlärning som genererar syntetisk data från begränsade äkta dataset. GAN är på gränsen eftersom ytterligare utvidgning av djupt lärande till många områden (t.ex. medicin, robotik, innehållssyntes) kräver massiva uppsättningar märkta data som i allmänhet antingen är otillgängliga eller oöverkomligt kostsamma att samla in. Även om GAN blir allt viktigare inom olika områden, finns det inga acceleratorer för dessa nya modeller. I själva verket, GANs utnyttja en ny operatör, som kallas införlivad konvolution, som avslöjar unika utmaningar för hårdvaruacceleration. Den här operatören infogar först nollor i den flerdimensionella inmatningen, och sammanbinder sedan en kärna över den expanderade arrayen för att lägga till information till de inbäddade nollorna. Även om det finns ett konvolutionsstadium i denna operatör, leder de införda nollorna till underutnyttjande av de beräknade resurserna när en konventionell konvolutionsaccelerator används. Vi föreslår GANAX arkitektur för att lindra källorna till ineffektivitet i samband med acceleration av GANs med konventionella konvolution acceleratorer, vilket gör den första GAN accelerator design möjligt. Vi föreslår en omorganisation av utdataberäkningarna för att fördela beräkningsrader med liknande mönster av nollor till intilliggande processmotorer, vilket också undviker inkonsekvent multiplikationstillägg på nollorna. Denna obligatoriska adjacency återtar data återanvändning över dessa angränsande bearbetningsmotorer, som annars hade minskat på grund av de införda nollor. Omordningen bryter hela SIMD-utförandemodellen, som är framträdande i konvolutionsacceleratorer. Därför föreslår vi en enhetlig MIMD-SIMD-design för GANAX som utnyttjar upprepade mönster i beräkningen för att skapa distinkta mikroprogram som kör samtidigt i SIMD-läge. Interleaving av MIMD- och SIMD-lägen utförs vid granulariteten av en enda mikroprogrammerad drift. För att avskriva kostnaden för MIMD utförande föreslår vi en frikoppling av dataåtkomst från databehandling i GANAX. Denna frikoppling leder till en ny konstruktion som bryter varje bearbetningsmotor till en tillgångsmikromotor och en fungerande mikromotor. Den föreslagna arkitekturen utvidgar begreppet access-execute arkitekturer till den finaste detaljrikedomen av beräkning för varje enskild operand. Utvärderingar med sex GAN-modeller visar i genomsnitt 3,6× speedup och 3,1× energibesparingar över EYERISS utan att äventyra effektiviteten av konventionella konvolution acceleratorer. Dessa fördelar kommer med bara en 7,8% arealökning. Dessa resultat tyder på att GANAX är ett effektivt första steg som banar väg för att accelerera nästa generation av djupa neurala modeller.
GANAX REF presenterade en enhetlig MIMD-SIMD accelerator genom att omorganisera nollmönster för att maximera data återanvändning och resursutnyttjande.
GANAX: A Unified MIMD-SIMD Acceleration for Generative Adversarial Networks
{'venue': '2018 ACM/IEEE 45th Annual International Symposium on Computer Architecture (ISCA)', 'journal': '2018 ACM/IEEE 45th Annual International Symposium on Computer Architecture (ISCA)', 'mag_field_of_study': ['Computer Science']}