Transformer, som helt och hållet bygger på en uppmärksamhetsmekanism, introducerades av Vaswani et al. (2017) uppnår toppmoderna resultat för maskinöversättning. I motsats till återkommande och konvolutionella neurala nätverk, det inte uttryckligen modellerar relativ eller absolut position information i sin struktur. I stället kräver det att man lägger till representationer av absoluta positioner till sina ingångar. I detta arbete presenterar vi ett alternativt tillvägagångssätt, som utvidgar självuppmärksamhetsmekanismen till att effektivt överväga representationer av de relativa positionerna, eller avstånd mellan sekvenselement. På WMT 2014 engelska-till-tyska och engelska-till-franska översättningsuppgifter ger detta tillvägagångssätt förbättringar på 1,3 BLEU respektive 0,3 BLEU jämfört med absoluta positioner. Vi konstaterar särskilt att en kombination av relativ och absolut positionsrepresentation inte ger någon ytterligare förbättring av översättningens kvalitet. Vi beskriver ett effektivt genomförande av vår metod och kastar den som ett exempel på relation-medvetna själv-attention mekanismer som kan generalisera till godtyckliga grafmärkta ingångar.
För toppmodern Transformatorbaserad NMT-modell föreslog REF en relativ positionsrepresentation för att koda orderinformation i en mening i stället för den befintliga absoluta positionsrepresentationen.
Self-Attention with Relative Position Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}