Neurala nätverk förstärkt med externt minne har förmågan att lära sig algoritmiska lösningar till komplexa uppgifter. Dessa modeller verkar lovande för tillämpningar som språkmodellering och maskinöversättning. Men de skalas dåligt i både rum och tid när mängden minne växer - begränsar deras tillämplighet på verkliga domäner. Här presenterar vi en end-to-end differentiable memory access system, som vi kallar Sparse Access Memory (SAM), som behåller representationskraften i de ursprungliga tillvägagångssätten samtidigt utbildning effektivt med mycket stora minnen. Vi visar att SAM uppnår asymptotiska lägre gränser i utrymme och tid komplexitet, och hitta att en implementation körs 1000× snabbare och med 3000× mindre fysiskt minne än icke-sparse modeller. SAM lär sig med jämförbar dataeffektivitet till befintliga modeller på en rad syntetiska uppgifter och en-shot Omniglott teckenigenkänning, och kan skala till uppgifter som kräver 100.000 av tidssteg och minnen. Vi visar också hur vårt tillvägagångssätt kan anpassas för modeller som upprätthåller tidsbundna associationer mellan minnen, som med den nyligen introducerade Differentiable Neural Computer.
När det gäller minnesnätverk föreslår REF att tillgången till minnet ska vara sparsam.
Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}