Uppmärksamhetsbaserade återkommande neural kodare-dekoder modeller presentera en elegant lösning på den automatiska taligenkänning problem. Detta tillvägagångssätt lägger ihop den akustiska modellen, uttalsmodell, och språkmodell till ett enda nätverk och kräver endast en parallell corpus av tal och text för utbildning. Till skillnad från konventionella metoder som kombinerar olika akustiska och språkliga modeller är det dock inte klart hur man använder ytterligare (odeparerad) text. Även om man tidigare har arbetat med metoder för att ta itu med detta problem, saknas det fortfarande en grundlig jämförelse mellan metoderna. I detta dokument jämför vi en svit av tidigare metoder och några av våra egna föreslagna metoder för att använda oparade textdata för att förbättra kodare-dekoder modeller. För utvärdering använder vi datasetet för medelstora växeln och de storskaliga datamängderna för Googles röstsökning och diktation. Våra resultat bekräftar fördelarna med att använda oparerad text över en rad olika metoder och datamängder. Förvånansvärt nog, för första-pass avkodning, den ganska enkla tillvägagångssätt grunt fusion presterar bäst över datamängder. För Googles datamängder finner vi dock att kall fusion har en lägre oraklefelsfrekvens och överträffar andra metoder efter second-pass rescoring på Googles röstsökningsdata.
I, REF, dessa fusionsmetoder jämförs i medelstor engelska konversationstal ( på 300h) och storskaliga Google röstsökningsdata.
A Comparison of Techniques for Language Model Integration in Encoder-Decoder Speech Recognition
{'venue': '2018 IEEE Spoken Language Technology Workshop (SLT)', 'journal': '2018 IEEE Spoken Language Technology Workshop (SLT)', 'mag_field_of_study': ['Computer Science', 'Engineering']}