I det här dokumentet föreslår vi en ny metod för dataförstärkning för uppmärksamhetsbaserad end-to-end automatisk taligenkänning (E2E-ASR), som använder en stor mängd text som inte paras ihop med talsignaler. Inspirerad av den bakåtöversättningsteknik som föreslås inom området maskinöversättning, bygger vi en neural text-till-koder modell som förutspår en sekvens av dolda tillstånd extraheras av en förtränad E2E-ASR kodare från en sekvens av tecken. Genom att använda dolda tillstånd som ett mål istället för akustiska funktioner, är det möjligt att uppnå snabbare uppmärksamhet lärande och minska beräkningskostnaderna, tack vare sub-sampling i E2E-ASR kodare, även användningen av dolda tillstånd kan undvika att modellera högtalarberoenden till skillnad från akustiska funktioner. Efter utbildningen genererar text-till-encoder modellen de dolda tillstånden från en stor mängd oparade text, sedan E2E-ASR dekoder omskolas med hjälp av de genererade dolda tillstånd som ytterligare träningsdata. Experimentell utvärdering med hjälp av LibriSpeech dataset visar att vår föreslagna metod uppnår förbättring av ASR prestanda och minskar antalet okända ord utan behov av parade data.
Dessa använder oparerad text för att generera en syntetisk datauppsättning, men rikta dolda tillstånd representationer i stället för akustiska funktioner direkt REF.
Back-Translation-Style Data Augmentation for end-to-end ASR
{'venue': '2018 IEEE Spoken Language Technology Workshop (SLT)', 'journal': '2018 IEEE Spoken Language Technology Workshop (SLT)', 'mag_field_of_study': ['Computer Science']}