De dominerande sekvenstransduktionsmodellerna är baserade på komplexa återkommande eller konvolutionella neurala nätverk som inkluderar en kodare och en dekoder. De bäst presterande modellerna kopplar också samman kodaren och dekodern genom en uppmärksamhetsmekanism. Vi föreslår en ny enkel nätverksarkitektur, Transformer, baserad enbart på uppmärksamhetsmekanismer, dispensering med upprepningar och konvolutioner helt och hållet. Experiment på två maskinöversättningsuppgifter visar att dessa modeller är överlägsna i kvalitet samtidigt som de är mer parallelliserbara och kräver betydligt mindre tid att träna. Vår modell uppnår 28,4 BLEU på WMT 2014 engelska till tyska översättning uppgift, förbättra över de befintliga bästa resultaten, inklusive ensembler, med över 2 BLEU. På WMT 2014 engelska-till-franska översättning uppgift, vår modell etablerar en ny enda modell state-of-the-art BLEU poäng på 41.0 efter utbildning i 3,5 dagar på åtta GPUs, en liten bråkdel av utbildningskostnaderna för de bästa modellerna från litteraturen. Vi visar att Transformer generaliserar väl till andra uppgifter genom att tillämpa det framgångsrikt till engelska valkrets tolkar både med stora och begränsade utbildningsdata.
Vaswani m.fl. I REF föreslogs en "Transformer" för maskinöversättning, som enbart bygger på uppmärksamhetsmekanismer.
Attention Is All You Need
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}