Detta papper föreslår en neural end-to-end text-to-tal (TTS) modell som kan styra latenta attribut i det genererade talet som sällan kommenteras i träningsdata, såsom talstil, accent, bakgrundsljud, och inspelningsförhållanden. Modellen är formulerad som en villkorlig generativ modell med två nivåer av hierarkiska latenta variabler. Den första nivån är en kategorisk variabel, som representerar attributgrupper (t.ex. ren/buller) och ger tolkningsbarhet. Den andra nivån, beroende på den första, är en multivariat Gaussian variabel, som kännetecknar specifika attribut konfigurationer (t.ex. bullernivå, talhastighet) och möjliggör löslig finkornig kontroll över dessa attribut. Detta innebär att använda en Gaussian blandningsmodell (GMM) för latent distribution. Omfattande utvärdering visar dess förmåga att kontrollera de ovannämnda attributen. I synnerhet är den kapabel att konsekvent syntetisera högkvalitativt rent tal oavsett kvaliteten på träningsdata för måltalaren.
REF försök att övervinna detta problem genom att använda en Gaussian blandning som latent tidigare och så utföra kluster i latent utrymme.
Hierarchical Generative Modeling for Controllable Speech Synthesis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}