Domar i en välformad text är kopplade till varandra via olika länkar för att bilda textens sammanhållna struktur. Nuvarande neural maskinöversättning (NMT) system översätta en text i en konventionell mening-för-sentence mode, ignorerar sådana kors-sentence länkar och beroenden. Detta kan leda till att en osammanhängande måltext skapas för en sammanhängande källtext. För att hantera denna fråga, föreslår vi en cache-baserad strategi för modellering samstämmighet för neural maskinöversättning genom att fånga kontextuell information antingen från nyligen översatta meningar eller hela dokumentet. Särskilt utforskar vi två typer av cache: en dynamisk cache, som lagrar ord från de bästa översättningshypoteser av föregående meningar, och en ämne cache, som upprätthåller en uppsättning av målsidan aktuella ord som är semantiskt relaterade till dokumentet som ska översättas. På denna grundval bygger vi ett nytt lager för att göra målord i dessa två cache med en cachebaserad neural modell. Här de uppskattade sannolikheterna från den cach-baserade neurala modellen kombineras med NMT sannolikheter till det sista ordet förutsägelse sannolikheter via en gating mekanism. Slutligen tränas den föreslagna cache-baserade neurala modellen tillsammans med NMT-systemet på ett end-to-end-sätt. Experiment och analyser som presenteras i detta dokument visar att den föreslagna cachebaserade modellen uppnår betydande förbättringar jämfört med flera toppmoderna SMT- och NMT-baslinjer.
På liknande sätt föreslår REF dynamiska och ämnescachelagringar för att fånga upp kontextuell information antingen från nyligen översatta meningar eller hela dokumentet till modellsammanhållning för NMT.
Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}