Autoregressiva sekvensmodeller baserade på djupa neurala nätverk, såsom RNN, Wavenet och Transformer uppnå state-of-the-art resultat på många uppgifter. De är dock svåra att parallellisera och är därför långsamma med att bearbeta långa sekvenser. RNN saknar parallellism både under träning och avkodning, medan arkitekturer som WaveNet och Transformer är mycket mer parallelliserbara under träning, men ändå fungerar sekventiellt under avkodning. Vi presenterar en metod för att förlänga sekvensmodeller med hjälp av diskreta latenta variabler som gör avkodning mycket mer parallellizable. Vi först autokoda målsekvensen i en kortare sekvens av diskret latent variabler, som vid inference tid genereras autoregressivt, och slutligen avkoda utdatasekvensen från denna kortare latent sekvens parallellt. I detta syfte introducerar vi en ny metod för att konstruera en sekvens av diskreta latenta variabler och jämföra den med tidigare införda metoder. Slutligen utvärderar vi vår modell end-to-end på uppgiften att neural maskinöversättning, där det är en storleksordning snabbare vid avkodning än jämförbara autoregressiva modeller. Medan lägre i BLEU än rent autoregressiva modeller, vår modell uppnår högre poäng än tidigare föreslagna icke-autoregressiva översättningsmodeller.
REF konstruerade LatentTransformer som automatiskt kodar målsekvensen i en kortare sekvens av diskreta latenta variabler och genererar den slutliga målsekvensen från denna kortare latenta sekvens parallellt.
Fast Decoding in Sequence Models using Discrete Latent Variables
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}