Uppmärksamhet-baserad sekvens-till-sekvens modeller för taligenkänning gemensamt träna en akustisk modell, språkmodell (LM), och anpassningsmekanism med hjälp av ett enda neuralt nätverk och kräver endast parallella ljud-text par. Således är språkmodellen komponenten i end-to-end modellen endast tränas på transkriberade ljud-text par, vilket leder till prestandanedbrytning särskilt på sällsynta ord. Även om det har funnits en mängd olika arbeten som tittar på att införliva en extern LM utbildad på text-endast data i end-to-end ram, ingen av dem har tagit hänsyn till den karakteristiska felfördelning som gjorts av modellen. I detta dokument föreslår vi ett nytt tillvägagångssätt för att använda textbaserade data, genom att utbilda en stavningskorrigeringsmodell (SC) för att explicit korrigera dessa fel. På LibriSpeech-datasetet visar vi att den föreslagna modellen resulterar i en relativ förbättring av WER på 18,6% jämfört med baslinjemodellen när den direkt korrigerar top ASR-hypotesen, och en relativ förbättring på 29,0% när ytterligare en utökad n-bästa lista byts ut med hjälp av en extern LM.
REF utforskade också utbildningen av en rättningsmodell för stavning för att lära sig de fel som begåtts av ett första godkännandesystem.
A Spelling Correction Model for End-to-end Speech Recognition
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Engineering', 'Computer Science']}