Vi föreslår en utvidgning till neurala nätverk språkmodeller för att anpassa deras förutsägelse till den senaste historien. Vår modell är en förenklad version av minnesförstärkta nätverk, som lagrar förbi dolda aktiveringar som minne och får tillgång till dem genom en punktprodukt med den aktuella dolda aktiveringen. Denna mekanism är mycket effektiv och skalor till mycket stora minnesstorlekar. Vi drar också en koppling mellan användningen av externt minne i neurala nätverk och cache-modeller som används med räknebaserade språkmodeller. Vi demonstrerar på flera språkmodeller dataset att vår strategi presterar betydligt bättre än de senaste minnesförstärkta nätverken.
REF utöka neurala nätverk språkmodell med en neural cache modell, som lagrar nyligen dolda aktiveringar som ska användas som kontextuella representationer.
Improving Neural Language Models with a Continuous Cache
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}