Djupa autoregressiva sekvens-till-sekvens modeller har visat imponerande prestanda över en mängd olika uppgifter under de senaste åren. Även om vanliga arkitekturklasser som återkommande, konvolutionella och självuppmärksammande nätverk gör olika avvägningar mellan den mängd beräkning som krävs per skikt och längden på den kritiska vägen vid utbildningstidpunkten, är generering fortfarande en i sig sekventiell process. För att övervinna denna begränsning föreslår vi ett nytt blockvis parallellt avkodningssystem där vi gör förutsägelser för flera tidssteg parallellt och sedan backar tillbaka till det längsta prefixet som validerats av en poängsättningsmodell. Detta möjliggör betydande teoretiska förbättringar av genereringshastigheten när den tillämpas på arkitekturer som kan bearbeta utdatasekvenser parallellt. Vi verifierar vår metod empiriskt genom en serie experiment med hjälp av state-of-the-art själv-attention modeller för maskinöversättning och bild super-upplösning, uppnå iteration minskningar på upp till 2x över en baslinje girig dekoder utan kvalitetsförlust, eller upp till 7x i utbyte mot en liten minskning av prestanda. När det gäller vägg-klocka tid, våra snabbaste modeller uppvisar realtids hastigheter på upp till 4x över standard girig avkodning.
REF fokuserar på att förbättra språkgenereringshastigheten med hjälp av ett blockvis parallellt avkodningssystem. De gör förutsägelser för flera tidssteg parallellt och återgår sedan till det längsta prefixet som validerats av en poängsättningsmodell.
Blockwise Parallel Decoding for Deep Autoregressive Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}