Talkedjemekanismen integrerar automatisk taligenkänning (ASR) och text-till-tal syntes (TTS) moduler i en enda cykel under utbildningen. I vårt tidigare arbete använde vi en talkedjemekanism som ett halvövervakat lärande. Det ger möjlighet för ASR och TTS att hjälpa varandra när de får oparade data och låta dem härleda det saknade paret och optimera modellen med återuppbyggnad förlust. Om vi bara har tal utan transkription genererar ASR den mest sannolika transkriptionen från taldata, och sedan använder TTS den genererade transkriptionen för att rekonstruera de ursprungliga talfunktionerna. Men i tidigare artiklar begränsade vi bara vår back-propagation till den närmaste modulen, som är TTS-delen. En anledning är att back-propagating felet genom ASR är utmanande på grund av att utgången av ASR är diskreta polletter, vilket skapar icke-differentiability mellan TTS och ASR. I detta dokument tar vi itu med detta problem och beskriver hur man grundligt utbildar en talkedja end-to-end för återuppbyggnadsförlust med hjälp av en straight-through uppskattningor (ST). Experimentella resultat visade att vi med provtagning från ST-Gumbel-Softmax kunde uppdatera ASR-parametrarna och förbättra ASR-prestandan med 11 % relativ CER-reduktion jämfört med baslinjen.
I REF föreslås en gemensam inlärningsarkitektur för automatisk taligenkänning och text-till-tal (TTS) som utnyttjar icke-annoterade data.
End-to-end Feedback Loss in Speech Chain Framework via Straight-through Estimator
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}