Recurrent neural networks (RNNs), inklusive lång korttidsminne (LSTM) RNNs, har producerat state-of-the-art resultat på en mängd olika taligenkänningsuppgifter. Dessa modeller är dock ofta för stora för att kunna installeras på mobila enheter med minnes- och latensbegränsningar. I detta arbete studerar vi mekanismer för att lära sig kompakta RNN och LSTMs via lågvärdiga faktoriseringar och parameterdelningssystem. Vårt mål är att undersöka uppsägningar i återkommande arkitekturer där komprimering kan accepteras utan att förlora prestanda. En hybridstrategi för att använda strukturerade matriser i de nedre skikten och delade lågrankningsfaktorer på de översta skikten har visat sig vara särskilt effektiv, vilket minskar parametrarna för en standard LSTM med 75%, till en liten kostnad av 0,3% ökning av WER, på en 2 000-h English Voice Search uppgift.
Till exempel gav användningen av toeplitzliknande strukturerade matriser i REF upp till 40 % komprimering av RNN för röstsökning.
Learning compact recurrent neural networks
{'venue': '2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}