Neural maskinöversättning (NMT) är starkt beroende av ordnivå modellering för att lära semantiska representationer av inmatning meningar. Men för språk utan naturliga ordavgränsare (t.ex. kinesiska) där inmatning meningar måste tokenized först, konventionella NMT konfronteras med två frågor: 1) det är svårt att hitta en optimal tokenization granularity för käll mening modellering, och 2) fel i 1-bästa tokenizations kan propagera till kodaren av NMT. För att hantera dessa frågor föreslår vi word-lattice-baserade Recurrent Neural Network (RNN) kodare för NMT, som generaliserar standard RNN till word lattice topologi. De föreslagna kodarna tar som indata ett ord lattice som kompakt kodar flera tokenizations, och lära sig att generera nya dolda tillstånd från godtyckligt många ingångar och dolda tillstånd i föregående steg. Som sådan, de ord-lattice baserade kodare inte bara lindra den negativa effekten av tokenisering fel, men också är mer uttrycksfulla och flexibla att bädda in inmatning meningar. Experimentella resultat på kinesisk-engelska översättning visar överlägsenheterna av de föreslagna kodarna över den konventionella kodaren.
REF föreslog en lattice-baserad kodare som överväger flera tokeniseringsresultat medan indatameningen kodas.
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}