Vi presenterar två end-to-end-modeller: Audio-to-Byte (A2B) och Byteto-Audio (B2A), för flerspråkig taligenkänning och syntes. Tidigare arbeten har huvudsakligen använt tecken, underord eller ord som valenhet för att modellera text. Dessa enheter är svåra att skala till språk med stora ordförråd, särskilt när det gäller flerspråkig bearbetning. I detta arbete modellerar vi text via en sekvens av Unicode bytes, specifikt UTF-8 variabeln längd byte sekvens för varje tecken. Bytes gör att vi kan undvika stora softmax på språk med stora ordförråd, och dela representationer i flerspråkiga modeller. Vi visar att bytes är överlägsna grafeme tecken över en mängd olika språk i enspråkig end-toend taligenkänning. Dessutom överträffar vår flerspråkiga byte-modell varje enskild språkbaslinje i genomsnitt med 4,4 % relativt. I japansk-engelska kodväxlingstal överträffar vår flerspråkiga bytesmodell vår enspråkiga baslinje med 38,6% relativt. Slutligen presenterar vi en end-to-end flerspråkig talsyntesmodell med byte representationer som motsvarar resultatet av våra enspråkiga baslinjer.
I REF, Li et al. presenterar två end-to-end-modeller: Audio-to-Byte (A2B) och Byte-to-Audio (B2A), för flerspråkig taligenkänning och syntes, som modellerar text med hjälp av en sekvens av Unicode bytes, särskilt UTF-8 variabellängd byte sekvens för varje tecken.
Bytes Are All You Need: End-to-end Multilingual Speech Recognition and Synthesis with Bytes
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}