Vi observerar först en potentiell svaghet av kontinuerlig vektor representationer av symboler i neural maskinöversättning. Det vill säga den kontinuerliga vektor representationen, eller ett ord inbäddande vektor, av en symbol kodar flera dimensioner av likhet, vilket motsvarar kodning mer än en betydelse av ordet. Detta har konsekvensen att kodaren och dekoder återkommande nätverk i neural maskinöversättning måste spendera betydande mängd av sin kapacitet i disambiguing källa och målord baserat på det sammanhang som definieras av en käll mening. På grundval av denna iakttagelse föreslår vi i detta dokument att ordet inbäddande vektorer ska sammanhangsanpassas med hjälp av en icke-linjär ordpåse som representerar källmeningen. Dessutom föreslår vi att representera speciella polletter (t.ex. siffror, riktiga substantiv och akronymer) med inskrivna symboler för att underlätta översättningen av de ord som inte är lämpliga att översättas via kontinuerliga vektorer. Experimenten på En-Fr och En-De avslöjar att de föreslagna tillvägagångssätten för kontextualisering och symbolisering förbättrar översättningskvaliteten hos neurala maskinöversättningssystem avsevärt.
REF utnyttjar NBOW som sammanhang och grindar till ordet inbäddning på både kodare- och dekodersidan.
Context-Dependent Word Representation for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}