I talade dialogsystem är det viktigt för ett system att veta hur troligt en taligenkänningshypotes är att vara korrekt, så att det kan reprompt för ny input, eller, i de fall där många fel har inträffat, ändra sin interaktionsstrategi eller byta anropare till en mänsklig medhjälpare. Vi har upptäckt prosodiska funktioner som mer exakt förutsäger när en igenkänningshypotes innehåller ett ordfel än de akustiska konfidensvärden som traditionellt används i automatisk taligenkänning. Vi presenterar analytiska resultat som visar att det finns betydande prosodiska skillnader mellan korrekt och felaktigt igenkända svängar i TOOT tåginformation corpus. Vi presenterar sedan maskininlärning resultat som visar hur användningen av prosodiska funktioner för att automatiskt förutsäga korrekt kontra felaktigt igenkända varv förbättrar över användningen av akustiska konfidenspoäng ensam. En av de centrala uppgifterna för dialoghanteraren i de flesta aktuella dialogsystem (SDS) är felhantering. Den automatiska taligenkänningskomponenten (ASR) i sådana system är benägna att fela, särskilt när systemet måste fungera under bullriga förhållanden eller när systemets domän är stor. Eftersom det är omöjligt att helt förhindra ASR-fel, är det viktigt att ett system vet hur troligt det är att en taligenkänningshypotes är korrekt, så det kan vidta lämpliga åtgärder, eftersom användarna har stora svårigheter att korrigera felaktig information som presenteras av systemet som sant (Krahmer et al., 1999). Sådana åtgärder kan omfatta kontroll av användarens input, reprompting för nya indata, eller, i fall där många fel har inträffat, ändring av interaktionsstrategin eller byte av anropare till en mänsklig assistent (Smith, 1998; Langkilde et al., 1999). Traditionellt, beslutet att avvisa en erkännande hypotes bygger på akustiska konfidensintervall tröskelvärden, som ger en tillförlitlighet åtgärd på hypotesen och fastställs i ansökan (Zeljkovic, 1996). Denna process misslyckas dock ofta, eftersom det inte finns någon enkel kartläggning mellan låga konfidensvärden och felaktiga erkännanden, och fastställandet av en avstötningströskel är en fråga om försök och fel (Bouwman m.fl., 1999). Vissa felaktiga erkännanden leder inte nödvändigtvis till missförstånd på begreppsnivå (t.ex. "A.m." erkändes som "på morgonen"). Den aktuella tidningen ser prosody som en möjlig prediktor av ASR prestanda. ASR performance är känd för att variera baserat på talande stil (Weintraub et al., 1996), högtalare kön och ålder, infödda kontra icke-nativ högtalare status, och i allmänhet avvikelsen av nytt tal från träningsdata. En del av denna variation är kopplad till prosody, som prosodiska skillnader har visat sig karakterisera skillnader i talstil (Blaauw, 1992 ) och idiosynkratiska skillnader (Kraayeveld, 1997). Flera andra studier (Wade et al., 1992; Oviatt et al., 1996; Swerts and Ostendorf, 1997; Levow, 1998; Bell and Gustafson, 1999) rapporterar att hyperarticulerat tal, som kännetecknas av noggrann enunciation, långsammare talhastighet och ökad tonhöjd och ljudstyrka, ofta uppstår när användare i människa-maskin växelverkan försöker korrigera systemfel. Åter andra har visat att ett sådant tal också minskar erkännandet (Soltau och Waibel, 1998). Prosodiska egenskaper har också visat sig vara effektiva när det gäller att rangordna hypoteser, som ett efterbehandlingsfilter för att göra ASR-hypoteser (Hirschberg, 1991; Veilleux, 1994; Hirose, 1997). I detta dokument presenterar vi resultat från empiriska studier som testar hypotesen att prosodiska funktioner ger en viktig ledtråd till ASR-prestanda. Vi presenterar först resultat som jämför prosodiska analyser av korrekt och felaktigt igenkänd högtalare vänder i TOOT, en experimentell SDS för att få tåginformation över telefon. Vi beskriver sedan maskininlärning experiment baserade på dessa resultat som utforskar den prediktiva kraften av prosodiska funktioner ensam och i kombination med annan automatiskt tillgänglig information, inklusive ASR-säkerhet poäng och erkänd sträng. Våra resultat visar att det finns betydande prosodiska skillnader mellan korrekt och felaktigt erkända uttalanden. Dessa skillnader kan i själva verket användas för att pre- 218
REF visar den ytterligare användningen av prosodiska egenskaper för att härleda konfidenspoäng, och övergången från ett av ordfelfrekvensen till ett med begreppsfelfrekvens, vilket är lämpligare inom ramen för talade dialogsystem.
Predicting Automatic Speech Recognition Performance Using Prosodic Cues
{'venue': 'Applied Natural Language Processing Conference And Meeting Of The North American Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}