Vi föreslår en reparameterisering av LSTM som ger fördelarna med batch normalisering till återkommande neurala nätverk. Medan tidigare arbeten endast tillämpar batch normalisering till input-to-dold transformation av RNNs, visar vi att det är både möjligt och fördelaktigt att batch-normalisera den dolda-till-dolda övergången, vilket minskar interna kovariat skifte mellan tid steg. Vi utvärderar vårt förslag om olika sekventiella problem såsom sekvensklassificering, språkmodellering och frågesvar. Våra empiriska resultat visar att vår satsnormaliserade LSTM konsekvent leder till snabbare konvergens och förbättrad generalisering.
Återkommande batch normalisering REF ändrar batch normalisering att använda i återkommande nätverk.
Recurrent Batch Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}