Nuvarande state-of-the-art neural maskinöversättning (NMT) använder en djup multi-head selfattention nätverk utan uttrycklig fras information. Men tidigare arbete på statistisk maskinöversättning har visat att utvidga den grundläggande översättningsenheten från ord till fraser har gett betydande förbättringar, vilket tyder på möjligheten att förbättra NMT prestanda från explicit modellering av fraser. I detta arbete presenterar vi multi-granularity self-attention (MG-SA): ett neuralt nätverk som kombinerar multi-head selfattention och fras modellering. Särskilt utbildar vi flera uppmärksamhetshuvuden att ägna sig åt fraser i antingen n-gram eller syntaktisk formalism. Dessutom utnyttjar vi interaktioner mellan fraser för att öka styrkan i strukturmodellering -en vanligt förekommande svaghet i självuppmärksamhet. Experimentella resultat på WMT14 Engelska-till-tyska och NIST Kinesiska-till-engelska översättningsuppgifter visar det föreslagna tillvägagångssättet förbättrar konsekvent prestanda. Riktad språklig analys visar att MG-SA verkligen fångar användbar fras information på olika nivåer av granulariteter.
REF gör vidare användning av multi-head uppmärksamhet för att bilda multi-granularity själv-attention, för att fånga de olika granularitetsfraser i käll meningar.
Multi-Granularity Self-Attention for Neural Machine Translation