Akustisk modellanpassning har i stor utsträckning använts för att anpassa modeller till högtalare eller miljöer. Till exempel, tillägg extra funktioner som representerar högtalare såsom i-vektorer till inmatningen av ett djupt neuralt nätverk (DNN) är ett effektivt sätt att förverkliga oövervakad anpassning av DNN-hybrid automatisk taligenkänning (ASR) system. Nyligen har end-to-end (E2E) modeller föreslagits som ett alternativ till konventionella DNNhybrid ASR-system. E2E-modeller kartlägger en talsignal till en sekvens av tecken eller ord med hjälp av ett enda neuralt nätverk, vilket i hög grad förenklar ASR-ledningen. Anpassningen av E2E-modeller har dock inte fått någon större uppmärksamhet än så länge. I detta dokument undersöker vi extra funktionsbaserad anpassning för kodare-dekoder E2E-modeller. Vi använder ett nyligen föreslagit sekvenssammanfattningsnätverk för att beräkna hjälpfunktioner istället för i-vektorer, eftersom det enkelt kan integreras i E2E-modeller och hålla ASR-ledningen enkel. Sekvenssammanfattningsnätet gör det möjligt för extrafunktionsmodulen att vara en del av beräkningskurvan för E2E-modellen. Vi visar att det föreslagna anpassningssystemet konsekvent förbättrar erkännandet av tre allmänt tillgängliga erkännandeuppgifter.
Författarna i REF använde ett sekvenssammanfattningsnätverk för att beräkna extrafunktioner i ingångsskiktet för en uppmärksamhetsbaserad E2E-modell.
Auxiliary Feature Based Adaptation of End-to-end ASR Systems
{'venue': 'INTERSPEECH', 'journal': None, 'mag_field_of_study': ['Computer Science']}