Vi stabiliserar aktiveringen av Recurrent Neural Networks (RNN) genom att bestraffa det fyrkantiga avståndet mellan på varandra följande dolda staters normer. Denna straffterm är en effektiv regularizer för RNNs inklusive LSTMs och IRNNs, förbättra prestanda på tecken-nivå språkmodellering och foneme igenkänning, och outperforming vikt buller och avhopp. Vi uppnår konkurrenskraftig prestanda (18,6% PER) på TIMIT phoneme igenkänning uppgift för RNNs utvärderas utan strålsökning eller en RNN-givare. Med denna straffterm kan IRNN uppnå liknande prestanda som LSTM på språkmodellering, även om straffterm läggs till LSTM resultat i överlägsen prestanda. Vår straffterm förhindrar också den exponentiella tillväxten av IRNNs aktiveringar utanför deras träningshorisont, vilket gör det möjligt för dem att generalisera till mycket längre sekvenser.
I REF föreslogs en strafftid på det fyrkantiga avståndet mellan på varandra följande dolda staters normer för att förhindra den exponentiella tillväxten av IRNN:s aktivering.
Regularizing RNNs by Stabilizing Activations
{'venue': 'ICLR 2016', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science', 'Mathematics']}