De flesta sekvens-till-sekvens (seq2seq) modeller är autoregressiva; de genererar varje token genom att konditionera på tidigare genererade polletter. I kontrast, icke-autoregressiva följande 2seq modeller genererar alla tokens i ett pass, vilket leder till ökad effektivitet genom parallell bearbetning på hårdvara som GPUs. Men direkt modellera den gemensamma fördelningen av alla polletter samtidigt är utmanande, och även med allt mer komplexa modeller strukturer noggrannhet släpar betydligt efter autoregressiva modeller. I detta dokument föreslår vi en enkel, effektiv och effektiv modell för icke-autoregressiv sekvensgenerering med latent variabla modeller. Speciellt vänder vi oss till generativt flöde, en elegant teknik för att modellera komplexa distributioner med hjälp av neurala nätverk, och utforma flera lager av flöde skräddarsytt för att modellera den villkorliga densiteten av sekventiella latenta variabler. Vi utvärderar denna modell på tre neural maskinöversättning (NMT) benchmarking datauppsättningar, uppnå jämförbar prestanda med state-of-the-art nonautoregressiva NMT modeller och nästan konstant avkodning tid w.r.t sekvenslängd.
REF använder generativt flöde för att modellera komplex distribution av latenta variabler för parallell avkodning av mål.
FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow
{'venue': 'EMNLP 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}