Vi presenterar en omfattande studie av djup tvåvägslångt korttidsminne (LSTM) recidiverande neurala nätverk (RNN) baserade akustiska modeller för automatisk taligenkänning (ASR). Vi studerar effekten av storlek och djup och tågmodeller på upp till 8 lager. Vi undersöker träningsaspekten och studerar olika varianter av optimeringsmetoder, batching, trunkated backpropagation, olika legalisering tekniker såsom dropout och L2 legalisering, och olika gradient clipping varianter. Huvuddelen av den experimentella analysen utfördes på Quaero corpus. Ytterligare experiment utfördes också på växeln corpus. Vår bästa LSTM-modell har en relativ förbättring av ordfelsfrekvensen på över 14% jämfört med vår bästa feed-forward neural network (FFNN) baslinje på Quaero-uppgiften. På denna uppgift får vi vårt bästa resultat med en 8-lagers dubbelriktad LSTM och vi visar att ett förträningsprogram med lagervis konstruktion hjälper till för djupa LSTMs. Slutligen jämför vi utbildningens beräkningstid för många av de presenterade experimenten i relation till igenkänningsprestanda. Alla experimenten gjordes med RETURNN, RWTH:s utökade träningsram för universella återkommande neurala nätverk i kombination med RASR, verktygslådan RWTH ASR.
REF undersöker olika optimeringsmetoder för akustisk modellering empiriskt.
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}