Även om end-to-end text-to-tal (TTS) modeller som Tacotron har visat utmärkta resultat, kräver de vanligtvis en betydande uppsättning av hög kvalitet < text, ljud> par för utbildning, som är dyra att samla in. I detta dokument föreslår vi en halvövervakad utbildningsram för att förbättra dataeffektiviteten hos Tacotron. Tanken är att Tacotron ska kunna använda sig av text- och akustisk kunskap som finns i stor, allmänt tillgänglig text- och talkorpora. Viktigt är att dessa externa data är oparerade och potentiellt bullriga. Specifikt, först inbäddade vi varje ord i indatatexten i ordvektorer och konditionera Tacotron kodaren på dem. Vi använder sedan en oparerad talkorpus för att pre-trainera Tacotron dekoder i den akustiska domänen. Slutligen finjusterar vi modellen med hjälp av tillgängliga parade data. Vi visar att det föreslagna ramverket gör det möjligt för Tacotron att generera begripligt tal med mindre än en halvtimmes parad träningsdata. Index Terms-Tacotron, text-till-tal, halvövervakad inlärning, förutbildning, dataeffektivitet * Arbetat på Google. Ljuddemos finns på https://google.github.io/ tacotron/publications/semiövervakad.
Chung m.fl. föreslog en dataeffektiv halvövervakad utbildning av TTS-modell som tränar modellen med hjälp av en liten mängd text-talpardata med hjälp av dekoder förutbildning REF.
Semi-supervised Training for Improving Data Efficiency in End-to-end Speech Synthesis
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}