Vi utforskar oövervakad förutbildning för taligenkänning genom att lära oss representationer av råljud. wav2vek tränas på stora mängder omärkt ljuddata och de resulterande representationerna används sedan för att förbättra akustisk modellträning. Vi pre-traine en enkel multi-lager convolutional neural nätverk optimerad via en buller kontrasterande binär klassificering uppgift. Våra experiment på WSJ minskar WER av en stark karaktär-baserad log-mel filterbank baslinje med upp till 32% när endast några timmar transkriberad data är tillgänglig. Vår strategi uppnår 2,78% WER på Nov92 testuppsättningen. Detta överträffar Deep Speech 2, det bäst rapporterade karaktärsbaserade systemet i litteraturen samtidigt som man använder tre storleksordningar mindre märkta träningsdata.
Wav2vek REF föreslog ett flerlagers konvolutionellt neuralt nätverk optimerat via en bullerkontrasterande binär klassificering och tillämpades på WSJ ASR uppgifter.
wav2vec: Unsupervised Pre-training for Speech Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}