Detta dokument föreslår en ny oövervakad autoregressiv neural modell för att lära generiska tal representationer. I motsats till andra tal representation inlärningsmetoder som syftar till att ta bort buller eller högtalare variabilitet, vår är utformad för att bevara information för ett brett spektrum av nedströms uppgifter. Dessutom kräver den föreslagna modellen inga fontiska etiketter eller ordgränser, vilket gör det möjligt för modellen att dra nytta av stora mängder omärkta uppgifter. Tal representationer lärt sig av vår modell avsevärt förbättra prestanda både telefon klassificering och högtalare verifiering över ytan funktioner och andra övervakade och oövervakade metoder. Ytterligare analys visar att olika nivåer av talinformation fångas upp av vår modell på olika lager. Särskilt de lägre skikten tenderar att vara mer diskriminerande för högtalare, medan de övre skikten ger mer fonetiskt innehåll.
Till exempel föreslogs en automatisk regressiv prediktiv kodningsmodell (APC) i REF för oövervakad talrepresentationsinlärning och tillämpades på telefonklassificering och högtalarverifiering.
An Unsupervised Autoregressive Model for Speech Representation Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}