Neural maskinöversättning (NMT) modeller fungerar vanligtvis med ett fast ordförråd, men översättning är ett open-vokabulary problem. Tidigare arbete tar upp översättning av ord utanför ordförrådet genom att backa upp ett lexikon. I detta dokument introducerar vi ett enklare och effektivare tillvägagångssätt, vilket gör NMT-modellen kapabel till open-vokabulary översättning genom att koda sällsynta och okända ord som sekvenser av underord enheter. Detta baseras på intuitionen att olika ordklasser kan översättas via mindre enheter än ord, till exempel namn (via teckenkopiering eller translitterering), föreningar (via kompositionsöversättning) och kognater och låneord (via fonologiska och morfologiska omvandlingar). Vi diskuterar lämpligheten av olika ordsegmentering tekniker, inklusive enkla tecken ngram modeller och en segmentering baserad på byte par kodning kompression algoritm, och empiriskt visar att subword modeller förbättra över en back-off ordbok baslinje för WMT 15 översättningsuppgifter engelska→Tyska och engelska→Ryska med upp till 1,1 respektive 1,3 BLEU, respektive.
REF införde en underword-nivå NMT-modell som är kapabel till öppen-vokabulär översättning med hjälp av underword-nivå segmentering baserad på byte pair-kodning (BPE) algoritm.
Neural Machine Translation of Rare Words with Subword Units
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}