Deep Neural Network (DNN) akustiska modeller har gett många toppmoderna resultat i Automatic Speech Recognition (ASR) uppgifter. På senare tid har modeller för Recurrent Neural Network (RNN) visat sig överträffa DNN:s motsvarigheter. De senaste modellerna av DNN och RNN tenderar dock att vara opraktiska för användning på inbyggda system med begränsad beräkningskapacitet. Traditionellt sett är metoden för inbyggda plattformar att antingen träna en liten DNN direkt, eller att träna en liten DNN som lär sig distributionen av en stor DNN. I den här artikeln använder vi en toppmodern RNN för att överföra kunskap till små DNN. Vi använder RNN-modellen för att skapa mjuka justeringar och minimera Kullback-Leibler divergens mot den lilla DNN. Den lilla DNN tränade på de mjuka RNN-anpassningar uppnått en 3,93 WER på Wall Street Journal (WSJ) eval92 uppgift jämfört med en baslinje 4.54 WER eller mer än 13% relativ förbättring.
I REF överförs också kunskapen från ett återkommande neuralt nätverk (RNN) till ett djupt neuralt nätverk med ett liknande tillvägagångssätt.
Transferring Knowledge from a RNN to a DNN
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}