Kraven för många tillämpningar av toppmoderna taligenkänningssystem omfattar inte bara låg ordfelsfrekvens (WER) utan också låg latens. För många användningsfall måste systemet kunna avkoda uttalanden på ett strömmande sätt och snabbare än i realtid. Nyligen, en strömmande återkommande neurala nätverk givare (RNN-T) end-to-end (E2E) modell har visat sig vara en bra kandidat för on-device taligenkänning, med förbättrad WER och latency mätvärden jämfört med konventionella on-device modeller [1]. Denna modell släpar dock fortfarande efter en stor toppmodern konventionell modell i kvalitet [2]. Å andra sidan har en icke-streaming E2E Lyssna, Delta och Spell (LAS) modell visat jämförbar kvalitet med stora konventionella modeller [3]. Detta arbete syftar till att föra kvaliteten på en E2E-streamingmodell närmare kvaliteten på ett konventionellt system genom att införliva ett LAS-nätverk som en andra-pass-komponent, samtidigt som latensbegränsningar kvarstår. Vår föreslagna två-pass-modell uppnår en relativ minskning på 17%-22% av WER jämfört med enbart RNN-T och ökar latensen med en liten fraktion över RNN-T.
Nyligen föreslog REF att man skulle använda en modell för lyssna-och-spel (LAS) som en andra modell för passering för utmatning av en RNN-Transducer (RNN-T) första passerkort.
Two-Pass End-to-End Speech Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}