Uppmärksamhetsbaserade kodare-dekoder arkitekturer såsom Lyssna, Delta, och Spell (LAS), subsumera akustiska, uttal och språk modellkomponenter i en traditionell automatisk taligenkänning (ASR) system i ett enda neuralt nätverk. I tidigare arbeten har vi visat att sådana arkitekturer är jämförbara med toppmoderna ASR-system om diktamensuppgifter, men det stod inte klart om sådana arkitekturer skulle vara praktiska för mer utmanande uppgifter som röstsökning. I detta arbete utforskar vi en mängd olika strukturella och optimeringsförbättringar till vår LAS-modell som avsevärt förbättrar prestandan. På den strukturella sidan visar vi att ordmodeller kan användas istället för grafemer. Vi introducerar också en multi-head uppmärksamhet arkitektur, som erbjuder förbättringar jämfört med den allmänt använda en-head uppmärksamhet. På optimeringssidan utforskar vi synkron träning, schemalagd provtagning, etikettutjämning och minimal ordfelhastighetsoptimering, som alla visas förbättra noggrannheten. Vi presenterar resultat med en enkelriktad LSTM kodare för streaming-igenkänning. På en 12 500 timmars röstsökning, finner vi att de föreslagna ändringarna förbättrar WER från 9,2% till 5,6%, medan det bästa konventionella systemet uppnår 6,7%; på en diktation uppgift vår modell uppnår en WER på 4,1% jämfört med 5% för det konventionella systemet.
Det har producerat toppmoderna resultat på en utmanande 12 500 timmars röstsökning ASR uppgift, uppnå en 4,1% WER REF.
State-of-the-Art Speech Recognition with Sequence-to-Sequence Models
{'venue': '2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering', 'Mathematics']}