Med parallella uppmärksamhetsnätverk är neuraltransformer mycket snabb att träna. På grund av den autoregressiva arkitekturen och självuppmärksamheten i dekodern blir avkodningsförfarandet dock långsamt. För att lindra denna fråga, föreslår vi ett genomsnittligt uppmärksamhetsnätverk som ett alternativ till självuppmärksamhetsnätverket i avkodaren av den neurala Transformer. Det genomsnittliga uppmärksamhetsnätet består av två lager, med ett genomsnittsskikt som modellerar beroenden på tidigare positioner och ett gatingskikt som staplas över det genomsnittliga lagret för att öka expressiviteten i det föreslagna uppmärksamhetsnätet. Vi använder detta nätverk på dekoderdelen av neuraltransformer att ersätta den ursprungliga målsidan själv-attention modell. Med maskeringstrick och dynamisk programmering gör vår modell det möjligt för neuraltransformer att avkoda meningar över fyra gånger snabbare än sin ursprungliga version med nästan ingen förlust i träningstid och översättningsprestanda. Vi utför en rad experiment på WMT17 översättningsuppgifter, där på 6 olika språk par, vi får robusta och konsekventa speed-ups i avkodning. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
I REF föreslogs det genomsnittliga uppmärksamhetsnätet för att påskynda avkodningen, vilket leder till en betydande hastighetsökning över den obrända Transformern.
Accelerating Neural Transformer via an Average Attention Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}