Språkmodeller (LMs) för automatisk taligenkänning (ASR) tränas vanligtvis på stora textkorpora från nyhetsartiklar, böcker och webbdokument. Dessa typer av corpora är dock osannolikt att matcha testdistributionen av ASR-system, som förväntar sig uttalade uttalanden. Därför är LM vanligtvis anpassad till en mindre uthållen in-domändatauppsättning som hämtas från testdistributionen. Vi föreslår tre LM-anpassningsmetoder för Deep NN och Long Short-Term Memory (LSTM): (1) Anpassning av softmax-skiktet i Neural Network (NN); (2) Lägga till ett icke-linjärt anpassningsskikt före softmax-skiktet som endast tränas i anpassningsfasen; (3) Träna det extra icke-linjära anpassningsskiktet i förtränings- och anpassningsfaser. Syftar till att förbättra på en hierarkisk Maximum Entropy (MaxEnt) second-pass LM baslinje, som faktorer modellen till ord-kluster och ordmodeller, bygger vi en NN LM som förutspår endast ordkluster. Genom att anpassa LSTM LM genom att träna anpassningsskiktet i både tränings- och anpassningsfaser (Approach 3) minskar vi klustrets perplexitet med 30% på en sluten datauppsättning jämfört med en oanpassad LSTM LM. De första experimenten med ett toppmodernt ASR-system visar en relativ minskning på 2,3 % av WER utöver en anpassad MaxEnt LM.
Mamma och Al. REF föreslog en anpassning av softmax-skiktet i det neurala nätverket och visade förbättrad prestanda på både perplexitet och WER.
Approaches for Neural-Network Language Model Adaptation
{'venue': 'INTERSPEECH', 'journal': None, 'mag_field_of_study': ['Computer Science']}