Att lära sig användbara representationer utan handledning är fortfarande en viktig utmaning när det gäller maskininlärning. I detta dokument föreslår vi en enkel men kraftfull generativ modell som lär sig sådana diskreta representationer. Vår modell, Vector Quantized-Variational AutoEncoder (VQ-VAE), skiljer sig från VEAS på två viktiga sätt: encoder-nätverksutgångar diskreta, snarare än kontinuerliga, koder; och föregående lärs snarare än statiska. För att lära oss en diskret latent representation införlivar vi idéer från vektorquantisation (VQ). Med hjälp av VQ-metoden kan modellen kringgå problem med "baksida kollaps" -- där latentas ignoreras när de paras ihop med en kraftfull autoregressiv dekoder --typiskt observeras i VAE-ramverket. Genom att koppla ihop dessa representationer med en autoregressiv tidigare, kan modellen generera högkvalitativa bilder, videor och tal samt göra högkvalitativ högtalarkonvertering och oövervakad inlärning av phonemes, vilket ger ytterligare bevis på nyttan av de inlärda representationerna.
Grunden för vårt arbete är VQ-VAE ramverket för REF.
Neural Discrete Representation Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}