Som tokenization är oftast tvetydig för många naturliga språk såsom kinesiska och koreanska, tokenization fel kan potentiellt införa översättningsfel för översättningssystem som förlitar sig på 1-bästa tokenizations. Medan vi använder lattices för att erbjuda fler alternativ till översättningssystem har elegant lindrat detta problem, vi tar ytterligare ett steg för att tokenize och översätta gemensamt. Med en sekvens av atomenheter som kan kombineras för att bilda ord på olika sätt som ingång, producerar vår gemensamma dekoder en tokenisering på källsidan och en översättning på målsidan samtidigt. Genom att integrera tokenization och översättning funktioner i en diskriminerande ram, vår gemensamma dekoder överträffar baslinjeöversättningssystem med hjälp av 1-bästa tokenizations och lattices avsevärt på både kinesiskaengelska och koreanska-kinesiska uppgifter. Intressant nog, som en tokenizer, vår gemensamma dekoder uppnå betydande förbättringar över enspråkiga kinesiska tokenizers.
REF integrera tokenisering och översättning i ett enda steg och förbättra prestandan av tokenisering och översättning avsevärt.
Joint Tokenization and Translation
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}