Nästan alla tidigare arbeten på neural maskinöversättning (NMT) har använt ganska begränsade ordförråd, kanske med en efterföljande metod för att lappa i okända ord. Detta dokument presenterar en ny wordcharacter lösning för att uppnå öppen vokabulär NMT. Vi bygger hybridsystem som huvudsakligen översätter på ordnivå och konsulterar karaktärskomponenterna för sällsynta ord. Våra tecken-nivå återkommande neurala nätverk beräkna källord representationer och återställa okända målord när det behövs. Den dubbla fördelen med en sådan hybridmetod är att den är mycket snabbare och lättare att träna än karaktärsbaserade sådana; samtidigt producerar den aldrig okända ord som när det gäller ordbaserade modeller. På WMT'15 engelska till tjeckiska översättning uppgift, denna hybrid metod erbjuder en extra boost av +2.1−11.4 BLEU poäng över modeller som redan hanterar okända ord. Vårt bästa system uppnår ett nytt toppmodernt resultat med 20,7 BLEU poäng. Vi visar att våra karaktärsmodeller framgångsrikt kan lära sig att inte bara generera välformade ord för tjeckiska, ett mycket inflected språk med en mycket komplex vokabulär, men också bygga korrekta representationer för engelska källord.
Senast föreslog Ref ett hybridsystem som kombinerar information på teckennivå och ordnivå för tjeckiska och engelska par.
Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}