Trots de senaste framstegen, är minnesaugmenterade djupa neurala nätverk fortfarande begränsade när det gäller livslång och en-shot lärande, särskilt i att komma ihåg sällsynta händelser. Vi presenterar en storskalig, livslång minnesmodul för användning i djupinlärning. Modulen utnyttjar snabba närmaste granne algoritmer för effektivitet och därmed skalor till stora minnesstorlekar. Med undantag för närmaste granne fråga, modulen är helt olika och utbildad end-to-end utan extra övervakning. Den fungerar på ett livslångt sätt, d.v.s. utan behov av att återställa den under träningen. Vår minnesmodul kan enkelt läggas till någon del av ett övervakat neuralt nätverk. För att visa sin mångsidighet lägger vi till det i ett antal nätverk, från enkla konvolutionella som testats på bildklassificering till djup sekvens-till-sekvens och återkommande-konvolutionella modeller. I samtliga fall får det förbättrade nätverket förmågan att komma ihåg och göra livslångt lärande med en enda chans. Vår modul minns övning exempel visade många tusentals steg i det förflutna och det kan framgångsrikt generalisera från dem. Vi sätter nya state-of-the-art för en-shot lärande på Omniglot dataset och visar, för första gången, livslånga en-shot lärande i återkommande neurala nätverk på en storskalig maskinöversättning uppgift.
Kaiser m.fl. I REF föreslås en livslång minnesmodul för att registrera nätverksaktivering av sällsynta händelser för inlärning med en enda bild.
Learning to Remember Rare Events
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}