Utbildning på statlig nivå av minimal Bayes risk (sMBR) har blivit den faktiska standarden för sekvensbaserad utbildning av taligenkänningsakustiska modeller. Den har en elegant formulering med hjälp av förväntan semiring, och ger stora förbättringar i ordfelsfrekvens (WER) över modeller tränas endast med hjälp av crossentropy (CE) eller connectist temporal klassification (CTC). SMBR-utbildning optimerar det förväntade antalet ramar där referens- och hypotestillstånden skiljer sig åt. Det kan vara att föredra att optimera den förväntade WER, men WER inte interagerar väl med förväntan semiring, och tidigare metoder baserade på beräkning förväntade WER innebär exakt utöka de gitter som används under utbildningen. I detta papper visar vi hur man utför optimering av den förväntade WER genom provtagningsvägar från de gitter som används under konventionell sMBR-utbildning. Lutningen av den förväntade WER är i sig en förväntan, och därför kan approximeras med Monte Carlo provtagning. Vi visar experimentellt att optimera WER under akustisk modellträning ger 5% relativ förbättring i WER över en väl avstämd sMBR baslinje på en 2-kanals frågeigenkänning uppgift (Google Home).
För ASR-uppgift, Shanon et al. REF utförde WER-optimering genom provtagningsvägar från de gitter som användes under SMBR-utbildningen, vilket kan liknas vid REINFORCE-algoritm. Men arbetet tillämpades endast på CTC-baserad modell.
Optimizing expected word error rate via sampling for speech recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}