Long Short-Term Memory (LSTM) används ofta i taligenkänning. För att uppnå högre förutsägelsenoggrannhet, maskininlärning forskare har byggt allt större modeller. En sådan stor modell är både beräkningsintensiv och minnesintensiv. Deploying sådan skrymmande modell resulterar i hög strömförbrukning och leder till en hög total kostnad för ägande (TCO) av ett datacenter. För att påskynda förutsägelsen och göra den energieffektiv, föreslår vi först en belastning-balans-aware beskärning metod som kan komprimera LSTM modellstorlek med 20× (10× från beskärning och 2× från kvantisering) med försumbar förlust av förutsägelse noggrannhet. Den beskurna modellen är vänlig för parallell bearbetning. Därefter föreslår vi en schemaläggare som kodar och partitionerar den komprimerade modellen till flera PE för parallellism och schemalägger det komplicerade LSTM-dataflödet. Slutligen designar vi maskinvaruarkitekturen, Efficient Speech Recognition Engine (ESE) som fungerar direkt på den sparsamma LSTM-modellen. Genomfört på Xilinx XCKU060 FPGA som körs på 200MHz, har ESE en prestanda på 282 GOPS som arbetar direkt på det glesa LSTM-nätverket, vilket motsvarar 2,52 TOPS på den täta, och bearbetar en fullständig LSTM för taligenkänning med en effektavledning på 41 Watts. Utvärderad på LSTM för taligenkänning riktmärke, är ESE 43× och 3× snabbare än Core i7 5930k CPU och Pascal Titan X GPU implementationer. Det uppnår 40× och 11,5× högre energieffektivitet jämfört med CPU respektive GPU.
Efficient Speech Engine (ESE) REF utnyttjar beskärning och sparsamhet för att förbättra LSTM-nätverkens prestanda på FPGA.
ESE: Efficient Speech Recognition Engine with Sparse LSTM on FPGA
{'venue': "FPGA '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}