Vi föreslår en ny semiövervakad metod för end-to-end automatisk taligenkänning (ASR). Den kan utnyttja stora oparade tal- och textdatauppsättningar, som kräver mycket mindre mänsklig ansträngning för att skapa parade tal-till-text-datauppsättningar. Vår halvövervakade metod är inriktad på extraktion av en mellanrepresentation mellan tal- och textdata med hjälp av ett gemensamt kodarnätverk. Automatisk kodning av textdata med denna delade kodare förbättrar funktionen extrahering av textdata samt taldata när de mellanliggande representationerna av tal och text liknar varandra som en interdomänfunktion. Med andra ord, genom att kombinera tal-till-text- och text-till-text-kartläggningar via det delade nätverket, kan vi förbättra tal-till-text-kartläggningen genom att lära oss att rekonstruera de oparade textdata på ett halvövervakat sätt. Vi undersöker hur man utformar lämplig inter-domän förlust, vilket minimerar skillnaden mellan det kodade talet och textsekvenser, som ursprungligen tillhör helt olika domäner. De experimentella resultat vi fick med vår föreslagna semi-övervakade utbildning visar en större teckenfelfrekvens minskning från 15,8 % till 14,4 % än en konventionell språkmodell integration på Wall Street Journal dataset.
I REF lär man sig en mellanrepresentation av tal och text via ett gemensamt kodarnätverk.
Semi-Supervised End-to-End Speech Recognition
{'venue': 'INTERSPEECH', 'journal': None, 'mag_field_of_study': ['Computer Science']}