Omordningsmodellen spelar en viktig roll i frasbaserad statistisk maskinöversättning. Det finns dock få verk som utnyttjar omordning information i neural maskin översättning. I detta dokument föreslår vi en omordningsmekanism för att lära oss att omordna ett ord som bygger på dess kontextuella information. Dessa omordning inbäddningar staplas tillsammans med själv-attention nätverk för att lära mening representation för maskinöversättning. Omordningsmekanismen kan enkelt integreras i både kodaren och dekodern i Transformatoröversättningssystemet. Experimentella resultat på WMT'14 Engelska-till-tyska, NIST Kinesiska-till-Engelska, och WAT ASPEC Japanska-till-Engelska översättningsuppgifter visar att de föreslagna metoderna kan avsevärt förbättra utförandet av Transformer översättningssystemet.
Nyligen föreslog REF en omordning som införlivar implicit modell omordning information för att förbättra översättningen prestanda Transformer-baserade NMT.
Neural Machine Translation with Reordering Embeddings
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}