Djupa neurala nätverk med diskreta latenta variabler erbjuder löftet om bättre symboliskt resonemang, och lärande abstraktioner som är mer användbara för nya uppgifter. Intresset för diskreta latenta variabla modeller har ökat, men trots flera förbättringar på senare tid har utbildningen av diskreta latenta variabla modeller förblivit utmanande och deras prestanda har mestadels misslyckats med att matcha deras kontinuerliga motsvarigheter. Det senaste arbetet med vektorkvantifierade autokodrar (VQ-VAE) har gjort betydande framsteg i denna riktning, med sin perplexitet nästan motsvarar den för en VAE på datauppsättningar som CIFAR-10. I detta arbete undersöker vi en alternativ träningsteknik för VQ-VAE, inspirerad av dess koppling till Foreignation Maximization (EM) algoritm. Genom att träna den diskreta flaskhalsen med EM kan vi uppnå bättre bildgenereringsresultat på CIFAR-10, och tillsammans med kunskapsdestillation, kan vi utveckla en icke-självregressiv maskinöversättningsmodell vars noggrannhet nästan motsvarar en stark girig autoregressiv baslinje Transformer, samtidigt som den är 3,3 gånger snabbare vid inferens.
För utökade arbeten på VQ-VAE använder REF algoritmen Förväntning Maximering i flaskhalsstadiet för att träna VQ-VAE och för att uppnå förbättrade bildgenereringsresultat.
Theory and Experiments on Vector Quantized Autoencoders
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}