Det förhärskande förhållningssättet till sekvens till sekvensinlärning kartlägger en ingångssekvens till en variabel längdutgångssekvens via återkommande neurala nätverk. Vi introducerar en arkitektur baserad helt på konvolutionella neurala nätverk. Jämfört med återkommande modeller, kan beräkningar över alla element helt parallelliseras under utbildningen för att bättre utnyttja GPU hårdvara och optimering är lättare eftersom antalet icke-linjära är fast och oberoende av ingångslängden. Vår användning av inbäddade linjära enheter underlättar lutningsutbredning och vi utrustar varje dekoderskikt med en separat uppmärksamhetsmodul. Vi överträffar noggrannheten i den djupa LSTM-inställningen av Wu et al. (2016) på både WMT'14 engelsk-tyska och WMT'14 engelsk-franska översättning i storleksordning snabbare hastighet, både på GPU och CPU.
Facebook föreslog också deras sekvenstransduktionsmodell arkitektur REF som helt bygger på konvolutionella neurala nätverk (CNN) för att parallellisera beräkning.
Convolutional Sequence to Sequence Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}