Status-of-the-art resultat på neural maskinöversättning använder ofta uppmärksamhetssekvens-till-sekvens modeller med någon form av konvolution eller recursion. Vaswani m.fl. (2017) föreslå en ny arkitektur som helt undviker upprepning och konvolution. I stället används endast självuppmärksamhet och foder framåt skikt. Medan den föreslagna arkitekturen uppnår toppmoderna resultat på flera maskinöversättningsuppgifter, kräver det ett stort antal parametrar och utbildning iterationer för att konvergera. Vi föreslår viktad Transformer, en Transformer med modifierade uppmärksamhet lager, som inte bara överträffar baslinjenätverket i BLEU poäng men också konvergerar 15 − 40% snabbare. Speciellt ersätter vi multi-head uppmärksamhet med flera själv-attention grenar som modellen lär sig att kombinera under utbildningsprocessen. Vår modell förbättrar den toppmoderna prestandan med 0,5 BLEU poäng på WMT 2014 engelsk-tyska översättningsuppgiften och med 0,4 på den engelsk-till-franska översättningsuppgiften.
REF föreslog viktad Transformer som ersätter multi-head uppmärksamhet med flera själv-attention grenar som lär sig att kombinera under utbildningsprocessen.
Weighted Transformer Network for Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}