Många arkitekter anser att stora förbättringar i kostnads-energiprestanda nu måste komma från domänspecifik hårdvara. Detta papper utvärderar en anpassad ASIC- kallas en Tensor Processing Unit (TPU)-utplacerad i datacenter sedan 2015 som påskyndar inferensfasen av neurala nätverk (NN). Hjärtat av TPU är en 65,536 8-bitars MAC-matris multiplikator enhet som erbjuder en topp genomströmning av 92 TeraOps/sekund (TOPS) och en stor (28 MiB) programvara hanterad on-chip minne. TPU: s deterministiska exekveringsmodell är en bättre matchning till 99-procents svarstidskravet för våra NN-applikationer än de tidsvarierande optimeringarna av CPU:er och GPU:er som hjälper genomsnittlig genomströmning mer än garanterad latens. Bristen på sådana funktioner hjälper till att förklara varför, trots att ha myriad MACs och ett stort minne, TPU är relativt liten och låg effekt. Vi jämför TPU med en serverklass Intel Haswell CPU och en Nvidia K80 GPU, som är samtida utplacerad i samma datacenter. Vår arbetsbörda, skriven i den högnivå TensorFlow ramverket, använder produktion NN applikationer (MLPs, CNNs, och LSTMs) som representerar 95% av våra datacenter NN inference efterfrågan. Trots lågt utnyttjande för vissa applikationer är TPU i genomsnitt ca 15X -30X snabbare än dess moderna GPU eller CPU, med TOPS / Watt ca 30X -80X högre. Dessutom skulle med hjälp av GPU: s GDDR5 minne i TPU tredubbla uppnå TOPS och höja TOPS / Watt till nästan 70X GPU och 200X CPU.
I mer allmänna termer, Google Tensor Processing Unit (TPU), utplacerad för datacenter i 2015, är en annan processor jämförbar med tensor kärnor som finns i Nvidia GPUs, som påskyndar slutfasen av neurala nätverk REF.
In-Datacenter Performance Analysis of a Tensor Processing Unit
{'venue': "ISCA '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}