Befintliga neural maskinöversättning (NMT) modeller översätter generellt meningar i isolering, saknar möjligheten att dra nytta av dokument-nivå information. I detta arbete föreslår vi att utöka NMT-modeller med en mycket lätt cache-liknande minnesnätverk, som lagrar nyligen dolda representationer som översättningshistorik. Sannolikhetsfördelningen över genererade ord uppdateras online beroende på den översättningshistorik som hämtas från minnet, endowing NMT-modeller med möjlighet att dynamiskt anpassa sig över tiden. Experiment på flera områden med olika ämnen och stilar visar hur effektivt det föreslagna tillvägagångssättet är med försumbar inverkan på beräkningskostnaden.
Däremot tar REF hänsyn till målsidans sammanhang genom att använda ett lätt cacheliknande minnesnätverk som lagrar tvåspråkiga dolda representationer som översättningshistorik.
Learning to Remember Translation History with a Continuous Cache
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}