Layer normalization är en nyligen införd teknik för att normalisera aktiviteter av neuroner i djupa neurala nätverk för att förbättra träningshastighet och stabilitet. I detta papper introducerar vi en ny lagernormaliseringsteknik som kallas Dynamic Layer Normalization (DLN) för adaptiv neural akustisk modellering i taligenkänning. Genom att dynamiskt generera skalnings- och skiftningsparametrar i lagernormalisering anpassar DLN neurala akustiska modeller till den akustiska variation som uppstår från olika faktorer som högtalare, kanalljud och miljöer. Till skillnad från andra adaptiva akustiska modeller, kräver vårt föreslagna tillvägagångssätt inte ytterligare anpassningsdata eller högtalarinformation såsom i-vektorer. Modellstorleken är dessutom fast, eftersom den dynamiskt genererar anpassningsparametrar. Vi tillämpar våra föreslagna DLN på djupgående dubbelriktade LSTM akustiska modeller och utvärdera dem på två benchmarking dataset för stora ordförråd ASR experiment: WSJ och TED-LIUM release 2. De experimentella resultaten visar att vår DLN förbättrar neurala akustiska modeller när det gäller transkriptionsnoggrannhet genom att dynamiskt anpassa sig till olika högtalare och miljöer.
Dynamic Layer Normalization (DLN) REF bygger på ett neuralt nätverk för att generera β och γ.
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}