Vi undersöker en ny metod för att öka återkommande neurala nätverk med extra minne utan att öka antalet nätverksparametrar. Systemet har ett associativt minne baserat på komplexa vektorer och är nära relaterat till holografiska reducerade representationer och Long Short-Term Memory nätverk. Holografiska reducerade representationer har begränsad kapacitet: eftersom de lagrar mer information blir varje hämtning bullrigare på grund av störningar. Vårt system skapar däremot överflödiga kopior av lagrad information, vilket möjliggör hämtning med reducerat buller. Experiment visar snabbare inlärning på flera memorering uppgifter.
Genom att förstärka återkommande neurala nätverk med associativt minne baserat på komplexa-värderade vektorer, REF uppnått snabbare lärande på memorering uppgifter.
Associative Long Short-Term Memory
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}