Vi studerar problemet med att komprimera återkommande neurala nätverk (RNN). I synnerhet fokuserar vi på kompressionen av RNN akustiska modeller, som motiveras av målet att bygga kompakta och exakta taligenkänningssystem som kan köras effektivt på mobila enheter. I detta arbete presenterar vi en teknik för allmän återkommande modellkompression som tillsammans komprimerar både återkommande och icke-recurrent mellanskiktsviktmatriser. Vi finner att den föreslagna tekniken gör att vi kan minska storleken på vår akustiska Long Short-Term Memory (LSTM) till en tredjedel av sin ursprungliga storlek med försumbar förlust av noggrannhet.
Den föreslagna tekniken skulle kunna minska modellstorleken till en tredjedel av dess ursprungliga storlek REF.
On the compression of recurrent neural networks with an application to LVCSR acoustic modeling for embedded speech recognition
{'venue': '2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science']}