Vi föreslår en alternativ design av minnesförstärkta neurala nätverk (MANNs) som kallas Labeld Memory Networks (LMNs) anpassade för uppgifter som kräver snabb anpassning av batch-tränade klassificeringsmodeller. LMN:er har två viktiga skillnader med befintliga MANN:er. Först, LMNs organisera minnet med diskret klassetikett som den primära nyckeln till skillnad från den befintliga praxis av nyckel är en verklig vektor härledd från inmatningen. För det andra behandlar LMNs minnet som ett andra förstärkt steg efter ett regelbundet neuralt nätverk vilket gör det möjligt för minnet och det primära nätverket att spela kompletterande roller. Till skillnad från befintliga MANNs som skriver till minne för varje instans och använder LRU-baserad minnesersättning, LMNs skriver endast för fall med icke-noll förlust och använda etikettbaserade minnesersättning. Dessa egenskaper gör dem särskilt lämpade för klassificering uppgifter som kräver snabb anpassning och memorera sällsynta händelser. Vi visar betydande precisionsvinster på tre sådana uppgifter: online sekvensförutsägelse, livslångt lärande av sällsynta händelser, och få-shot lärande. Nyligen har en ny arkitektur i form av minnesförstärkta neurala nätverk (MANN) vuxit fram som en partiell lösning på ovanstående utmaningar. Minnesnätverk utvecklades ursprungligen med mål långt högre än vanligt övervakat lärande. Till exempel används i [7], ett end-to-end differentiable minne nätverk för att lära sig grundläggande uppgifter och i [28] minne används för att memorera fakta relevant 31: a
Shankar m.fl. REF organiserade minnet med den diskreta klassetiketten som den primära nyckeln till skillnad från den föregående nyckeln är en verklig vektor härledd från inmatningen.
Label Organized Memory Augmented Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}