När de återkommande neurala nätverken blir större och djupare, ökar träningstiderna för enskilda nätverk till veckor eller till och med månader. Det finns därför ett betydande incitament för att förbättra dessa näts prestanda och skalbarhet. Medan GPUs har blivit hårdvaran av val för utbildning och driftsättning återkommande modeller, de implementationer som används ofta använda sig av endast grundläggande optimeringar för dessa arkitekturer. I denna artikel visar vi att genom att exponera parallellism mellan operationer inom nätverket, kan en storleksordning påskyndas över en rad nätstorlekar kan uppnås över ett naivt genomförande. Vi beskriver tre steg av optimering som har införlivats i den femte utgåvan av NVIDIA:s cuDNN: för det första optimera en enda cell, för det andra ett enda lager, och för det tredje hela nätverket.
REF uppgradera NIVIDIA:s genomförande av cuDNN genom att exponera parallellism mellan insatser inom upprepningen.
Optimizing Performance of Recurrent Neural Networks on GPUs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}