Autoregressiva sekvensmodeller uppnå state-of-the-art prestanda i domäner som maskinöversättning. Men på grund av den autoregressiva faktorisering naturen, dessa modeller lider av tung latens under inferens. Nyligen föreslogs att modeller för nonautoregressiva sekvenser skulle påskynda inferenstiden. Dessa modeller antar emellertid att avkodningsprocessen för varje tecken är villkorligt oberoende av andra. En sådan generationsprocess gör ibland den utgående meningen inkonsekvent, och därför kunde de lärda icke-autoregressiva modellerna endast uppnå sämre noggrannhet jämfört med sina autoregressiva motsvarigheter. För att förbättra sedan avkodningskonsistensen och minska inferenskostnaden samtidigt föreslår vi att man införlivar en strukturerad inferensmodul i de icke-autoregressiva modellerna. Speciellt designar vi en effektiv approximation för villkorliga Random Fields (CRF) för icke-autoregressiva sekvensmodeller, och föreslår ytterligare en dynamisk övergångsteknik till modellpositionella sammanhang i CRF. Experiment i maskinöversättning visar att samtidigt öka lite latens (8-14 ms), vår modell kan uppnå betydligt bättre översättning prestanda än tidigare icke-autoregressiva modeller på olika översättningsdataset. Särskilt för datauppsättningen WMT14 En-De får vår modell en BLEU-poäng på 26,80, vilket till stor del överträffar de tidigare icke-autoregressiva baslinjerna och är bara 0,61 lägre i BLEU än rent autoregressiva modeller. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
REF utformade en effektiv approximation för CRF för NAT-modeller för att modellera de lokala beroendena inom meningarna.
Fast Structured Decoding for Sequence Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}