Neural sekvens-till-sekvens nätverk med uppmärksamhet har uppnått anmärkningsvärd prestanda för maskinöversättning. En av anledningarna till deras effektivitet är deras förmåga att fånga relevant kontextuell information från källan vid varje steg i förutsägelsen genom en uppmärksamhetsmekanism. Men sammanhanget på målsidan är enbart baserat på sekvensmodellen som i praktiken är benägen till en recensense partisk och saknar förmåga att fånga effektivt icke-equential beroenden bland ord. För att ta itu med denna begränsning, föreslår vi ett mål-sideattentive kvarvarande återkommande nätverk för avkodning, där uppmärksamhet över tidigare ord bidrar direkt till förutsägelsen av nästa ord. Resterande lärande underlättar flödet av information från det avlägsna förflutna och kan betona något av de tidigare översatta orden, därför får det tillgång till ett bredare sammanhang. Den föreslagna modellen överträffar en neural MT baslinje samt ett minne och själv-attention nätverk på tre språkpar. Analysen av den uppmärksamhet som dekodern lärt sig bekräftar att den betonar ett bredare sammanhang och att den fångar syntaktiska strukturer.
I samband med vårt arbete föreslår REF ett mål-sideattentive resterande återkommande nätverk för avkodning, där uppmärksamhet över tidigare ord bidrar direkt till förutsägelsen av nästa ord.
Self-Attentive Residual Decoder for Neural Machine Translation.
{'venue': 'NAACL-HLT', 'journal': None, 'mag_field_of_study': ['Computer Science']}