Även om en lingvistik-fri sekvens till sekvensmodell i neural maskinöversättning (NMT) har viss förmåga att implicit lära syntaktisk information om käll meningar, visar detta papper att källsyntax kan uttryckligen införlivas i NMT effektivt för att ge ytterligare förbättringar. Specifikt, vi linearize parse träd av käll meningar för att få strukturella etikettsekvenser. På grundval av detta föreslår vi tre olika typer av kodare för att införliva källsyntax i NMT: 1) parallell RNN kodare som lär sig ord och etikett annotationsvektorer parallellt; 2) hierarkisk RNN kodare som lär sig ord och etikett annotationsvektorer i en hierarki på två nivåer; och 3) blandad RNN kodare som sömmar ord och märka annotationsvektorer över sekvenser där ord och etiketter blandas. Experimentering på kinesisk-till-engelska översättning visar att alla tre föreslagna syntaktiska kodare kan förbättra översättningsnoggrannheten. Det är intressant att notera att den enklaste RNN-kodaren, dvs. Mixed RNN-kodaren, ger den bästa prestandan med en betydande förbättring på 1,4 BLEU-poäng. Dessutom ges en fördjupad analys ur flera perspektiv för att avslöja hur källsyntax gynnar NMT.
REF linearized parse träd av käll meningar för att få strukturella etikettsekvenser, vilket fångar syntax etikett information och hierarkiska strukturer.
Modeling Source Syntax for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}