Befintliga metoder för neural maskin översättning villkor varje utgång ord på tidigare genererade utgångar. Vi introducerar en modell som undviker denna autoregressiva egenskap och producerar dess utgångar parallellt, vilket möjliggör en storleksordning lägre latens under inferens. Genom kunskapsdestillering, användning av inmatning av symboliska gödningsmedel som en latent variabel, och policygradient finjustering, uppnår vi detta till en kostnad av så lite som 2,0 BLEU-punkter i förhållande till det autoregressiva Transformer-nätverk som används som lärare. Vi visar på betydande kumulativa förbättringar kopplade till var och en av de tre aspekterna av vår utbildningsstrategi, och validerar vår strategi för IWSLT 2016 engelsk-tyska och två WMT språkpar. Genom att sampla gödslingarna parallellt vid inferenstiden uppnår vår icke-autoregressiva modell nästan toppmodern prestanda på 29,8 BLEU på WMT 2016 engelsk-romansk.
REF introducerar ordet fertilitet som en latent variabel för att modellera antalet genererade tokens per varje källord.
Non-Autoregressive Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}