Neural maskinöversättning (NMT) modeller är vanligtvis tränas med fast storlek ingång och utgång ordförråd, vilket skapar en viktig flaskhals på deras noggrannhet och generalisering förmåga. Som lösning föreslog olika studier segmentering av ord i underordsenheter och utförande av översättning på sublexisk nivå. Men statistiska ordsegmenteringsmetoder har nyligen visat sig vara benägna att morfologiska fel, vilket kan leda till felaktiga översättningar. I detta dokument, föreslår vi att övervinna detta problem genom att ersätta källspråk inbäddande skikt av NMT med en dubbelriktad återkommande neurala nätverk som genererar kompositions representationer av indata på önskad nivå av granularitet. Vi testar vår strategi i en lågresursmiljö med fem språk från olika morfologiska typologier, och under olika kompositionsantaganden. Genom att träna NMT att komponera ord representationer från karaktär n-gram, vårt tillvägagångssätt konsekvent överträffar (från 1,71 till 2,48 BLEU poäng) NMT lärande inbäddningar av statistiskt genererade underord enheter.
På samma sätt föreslog Ataman och Federico REF att man skulle förbättra kvaliteten på källrepresentationer av sällsynta ord genom att öka dess inbäddade lager med en bi-RNN, som kan lära sig sammansättningsinmatning representationer på olika nivåer av granularitet.
Compositional Representation of Morphologically-Rich Input for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}