Utbilda djupt lärande modeller är compute-intensiv och det finns en bransch-omfattande trend mot hårdvaruspecialisering för att förbättra prestanda. För att systematiskt jämföra djupinlärningsplattformar introducerar vi ParaDnn, en parameteriserad referenssvit för djupinlärning som genererar end-toend-modeller för fullt anslutna (FC), konvolutionella (CNN) och återkommande (RNN) neurala nätverk. Tillsammans med sex realworld-modeller jämför vi Googles Cloud TPU v2/v3, NVIDIA:s V100 GPU och en Intel Skylake CPU-plattform. Vi gör en djupdykning i TPU-arkitektur, avslöjar dess flaskhalsar och lyfter fram värdefulla lärdomar för framtida specialiserad systemdesign. Vi ger också en grundlig jämförelse av plattformarna och finner att var och en har unika styrkor för vissa typer av modeller. Slutligen kvantifierar vi de snabba prestandaförbättringar som specialiserade programvara stackar ger för TPU och GPU-plattformar.
Wang m.fl. Ref föreslog en parameteriserad referenssvit, ParaDNN, för att karakterisera TPU, GPU och CPU för utbildning av DNN-modeller (inklusive FC, CNN och RNN).
Benchmarking TPU, GPU, and CPU Platforms for Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}