Återkommande sekvensgeneratorer betingade på ingångsdata genom en uppmärksamhetsmekanism har nyligen visat mycket bra prestanda på en rad uppgifter inklusive maskinöversättning, handskriftssyntes [1, 2] och bildtextproduktion [3]. Vi utökar uppmärksamhetsmekanismen med funktioner som behövs för taligenkänning. Vi visar att även om en anpassning av modellen som används för maskinöversättning i [2] når en konkurrenskraftig 18,7% foneme felfrekvens (PER) på TIMIT foneme igenkänning uppgift, kan det bara tillämpas på uttalanden som är ungefär så länge som de som den utbildades på. Vi erbjuder en kvalitativ förklaring av detta misslyckande och föreslår en ny och generisk metod för att lägga till lokaliseringsmedvetenhet till uppmärksamhetsmekanismen för att lindra denna fråga. Den nya metoden ger en modell som är robust för långa insatser och uppnår 18 % PER i enskilda uttalanden och 20 % i 10 gånger längre (upprepade) uttalanden. Slutligen föreslår vi en ändring av den uppmärksamhetsmekanism som hindrar den från att koncentrera sig för mycket på en enda ram, vilket ytterligare minskar PER till 17,6 procent.
Uppmärksamhetsmekanismen har också använts för taligenkänning REF inom ramen för sekvens-till-sekvens.
Attention-Based Models for Speech Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}