Populärt djupinlärningsramverk kräver att användarna finjusterar sin minnesanvändning så att träningsdata från ett djupt neuralt nätverk (DNN) passar in i det fysiska GPU-minnet. Tidigare arbete försöker ta itu med denna begränsning genom att virtualisera minnesanvändning av DNNs, vilket gör att både CPU- och GPU-minne kan användas för minnestilldelning. Trots dess förtjänster, virtualisera minne kan medföra betydande prestanda overheads när den tid som behövs för att kopiera data fram och tillbaka från CPU minne är högre än latency för att utföra DNN beräkningar. Vi introducerar en högpresterande virtualiseringsstrategi baserad på en "komprimerande DMA-motor" (cDMA) som drastiskt minskar storleken på de datastrukturer som är riktade mot processor-side-tilldelningar. Den cDMA motorn erbjuder en genomsnittlig 2,6× (maximal 13,8×) kompressionsförhållande genom att utnyttja den gleshet inneboende i avlastade data, förbättra prestandan för virtualiserade DNNs med en genomsnittlig 53% (maximal 79%) när den utvärderas på en NVIDIA Titan Xp. Försäkrings- och återförsäkringsföretag
Rhu REF beskrev nyligen en komprimerande DMA motor (cDMA) som förbättrade virtualiserade DNNs (vDNN) prestanda med 32%.
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
{'venue': '2018 IEEE International Symposium on High Performance Computer Architecture (HPCA)', 'journal': '2018 IEEE International Symposium on High Performance Computer Architecture (HPCA)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}