Självuppmärksamhet är en användbar mekanism för att bygga generativa modeller för språk och bilder. Det bestämmer betydelsen av kontextelement genom att jämföra varje element med det nuvarande tidssteget. I den här artikeln visar vi att en mycket lätt konvolution kan prestera konkurrenskraftigt till de bästa rapporterade självuppmärksamhetsresultaten. Därefter inför vi dynamiska konvolutioner som är enklare och effektivare än självuppmärksamhet. Vi förutspår separata konvolutionskärnor baserade enbart på det aktuella tidssteget för att bestämma betydelsen av kontextelement. Det antal operationer som krävs enligt denna metod skalar linjärt i ingångslängden, medan självuppmärksamhet är kvadratiskt. Experiment på storskalig maskinöversättning, språkmodellering och abstrakt sammanfattning visar att dynamiska konvolutioner förbättrar över starka själv-attention modeller. På WMT'14 engelsk-tyska test sätter dynamiska konvolutioner uppnå en ny state of the art av 29,7 BLEU.
REF introducerar lätta konvolutioner och dynamiska konvolutioner som är enklare och effektivare än självuppmärksamhet.
Pay Less Attention with Lightweight and Dynamic Convolutions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}