Recurrent neural network (RNN) baserade tecken-nivå språkmodeller (CLMs) är extremt användbara för att modellera out-of-vokabulary ord av naturen. Deras prestanda är dock i allmänhet mycket sämre än de ordnivå språkmodeller (WLM), eftersom CLMs måste överväga längre historia av polletter för att korrekt förutsäga nästa. Vi tar itu med detta problem genom att föreslå hierarkiska RNN-arkitekturer, som består av flera moduler med olika tidsplaner. Trots flertidsstrukturerna fungerar ingångs- och utgångsskikten med karakteriseringsklockan, vilket gör att de befintliga RNN CLM-träningsmetoderna kan tillämpas direkt utan ändringar. Våra CLM-modeller visar bättre perplexitet än Kneser-Ney (KN) 5-grams WLM på One Billion Word Benchmark med endast 2% av parametrarna. Dessutom presenterar vi end-toend taligenkänningsexempel i realtid på Wall Street Journal (WSJ) corpus, där det ersätter traditionella mono-clock RNN CLMs med de föreslagna modellerna resulterar i bättre igenkänningsnoggrannheter även om antalet parametrar minskas till 30%. Index Villkor-Karaktär-nivå språkmodell, hierarkisk återkommande neurala nätverk, lång korttidsminne
Ett flerskiktat Hierarkiskt Recurrent Neural Network användes i REF för att lösa CLM.
Character-level language modeling with hierarchical recurrent neural networks
{'venue': '2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}