Även neurala maskinöversättningsmodeller nådde hög översättningskvalitet, gör den autoregressiva naturen inference svårt att parallellisera och leder till hög översättning latens. Inspirerad av nya förfiningsmetoder föreslår vi en latent-variabel nonautoregressiv modell med kontinuerliga latenta variabler och deterministisk inferensprocedur. I motsats till befintliga metoder använder vi en deterministisk iterativ inferensalgoritm för att hitta en målsekvens som maximerar den nedre gränsen till logsannolikheten. Under slutsatsen anpassar sig översättningens längd automatiskt. Våra experiment visar att den nedre gränsen kan ökas avsevärt genom att köra inferensalgoritmen för endast ett steg, vilket resulterar i avsevärt förbättrad översättningskvalitet. Vår föreslagna modell minskar klyftan mellan icke-autoregressiva och autoregressiva metoder på ASPEC Ja-En dataset med 7,8x snabbare avkodning. På WMT'14 En-De dataset minskar vår modell prestandagapet med autoregressiv baslinje ner till 2,0 BLEU-poäng med 12,5x hastighetsökning.
REF visar hur ett latent-variabelt tillvägagångssätt kan överträffa det autoregressiva utgångsläget på japansk till engelsk översättning, men ändå observera ett betydande prestationsgap på WMT'14 EN-DE.
Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}