Trots det nära sambandet mellan taluppfattning och produktion har forskningen inom automatisk taligenkänning och talsyntes (TTS) gått framåt mer eller mindre självständigt utan att utöva mycket ömsesidigt inflytande på varandra. I mänsklig kommunikation är å andra sidan en sluten talkedjemekanism med hörselåterkoppling från talarens mun till hennes öra avgörande. I det här dokumentet tar vi ett steg längre och utvecklar en sluten talkedjemodell som bygger på djupt lärande. Sekvens-till-sekvens-modellen i närloop-arkitekturen gör det möjligt för oss att träna vår modell på konkatering av både märkta och omärkta data. Medan ASR transkriberar de omärkta talfunktionerna försöker TTS rekonstruera den ursprungliga talvågsformen baserat på texten från ASR. I motsatt riktning försöker ASR också rekonstruera den ursprungliga texten transkription med tanke på det syntetiserade talet. Såvitt vi vet är detta den första modellen för djupinlärning som integrerar människors taluppfattning och produktionsbeteenden. Våra experimentella resultat visar att det föreslagna tillvägagångssättet avsevärt förbättrade prestandan mer än separata system som endast var utbildade med märkta data. Index Termspeech chain, ASR, TTS, djupt lärande 978-1-5090-4788-8/17/$31.00
Talkedjemodellen REF är den mest likartade arkitekturen som vår.
Listening while speaking: Speech chain by deep learning
{'venue': '2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)', 'journal': '2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)', 'mag_field_of_study': ['Computer Science']}