Long Short-Term Memory (LSTM) används ofta i taligenkänning. För att uppnå högre förutsägelsenoggrannhet har maskininlärningsforskare byggt större och större modeller. En sådan stor modell är både beräkningsintensiv och minnesintensiv. Deploying sådan skrymmande modell resulterar i hög strömförbrukning givet latensrestriktion och leder till höga totala kostnader för ägande (TCO) av ett datacenter. För att påskynda förutsägelsen och göra den energieffektiv, föreslår vi först en last-balans-aware beskärning metod som kan komprimera LSTM modellstorlek med 20× (10× från beskärning och 2× från kvantisering) med försumbar förlust av förutsägelse noggrannhet. Den beskurna modellen är vänlig för parallell bearbetning. Därefter föreslår vi schemaläggare som kodar och partitionerar den komprimerade modellen till varje PE för parallellism och schemalägger det komplicerade LSTM-dataflödet. Slutligen designar vi maskinvaruarkitekturen, Efficient Speech Recognition Engine (ESE) som fungerar direkt på den komprimerade modellen. Genomfört på Xilinx XCKU060 FPGA som körs på 200MHz, har ESE en prestanda på 282 GOPS som arbetar direkt på det komprimerade LSTM-nätverket, vilket motsvarar 2,52 TOPS på den okomprimerade, och bearbetar en fullständig LSTM för taligenkänning med en effektavledning på 41 Watts. Utvärderad på LSTM för taligenkänning riktmärke, är ESE 43× och 3× snabbare än Core i7 5930k CPU och Pascal Titan X GPU implementationer. Det uppnår 40× och 11,5× högre energieffektivitet jämfört med CPU respektive GPU.
Dessutom ett effektivt långtidsminne (LSTM) implementation i REF utnyttjade lastbalans-aware beskärning för att uppnå både nätverkskomprimering och hög maskinvaruanvändning.
ESE: Efficient Speech Recognition Engine with Compressed LSTM on FPGA
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}