I detta papper utvidgar vi neural Turing maskin (NTM) till en dynamisk neural Turing maskin (D-NTM) genom att införa en trailed memory addressing system. Detta schema upprätthåller för varje minnescell två separata vektorer, innehåll och adressvektorer. Detta gör det möjligt för D-NTM att lära sig en mängd olika lokaliseringsbaserade adresseringsstrategier, inklusive både linjära och icke-linjära strategier. Vi implementerar D-NTM med både mjuka, differentierade och hårda, icke-differentierbara läs- och skrivmekanismer. Vi undersöker mekanismerna och effekterna för att lära sig läsa och skriva till ett minne genom experiment på Facebook bAbI uppgifter med hjälp av både en feedforward och GRU-controller. D-NTM utvärderas på en uppsättning Facebook bAbI uppgifter och visas för att överträffa NTM och LSTM baslinjer. Designing general-purpose learning algoritmer är ett av de långvariga målen för artificiell intelligens. Trots framgången med djupt lärande på detta område (se t.ex. [1],) finns det fortfarande en rad komplexa uppgifter som inte hanteras väl av konventionella neurala nätverk. Dessa uppgifter kräver ofta ett neuralt nätverk för att utrustas med ett explicit, externt minne där en större, potentiellt obundna, uppsättning fakta måste lagras. De omfattar, men är inte begränsade till, tillfälliga frågesvar [2, 3, 4], kompakta algoritmer [5] och bildtextgenerering [6]. Nyligen har två lovande metoder som bygger på neurala nätverk för denna typ av uppgifter föreslagits. Minnesnätverk [2] lagrar uttryckligen alla fakta, eller information, som finns tillgängliga för varje episod i ett externt minne (som kontinuerliga vektorer) och använder uppmärksamhetsmekanismen för att indexera dem när en utmatning returneras. Å andra sidan, neural Turing maskiner (NTM, [7]) läsa varje faktum i en episod och besluta om att läsa, skriva faktumet eller göra både till det externa, differentierade minnet. En avgörande skillnad mellan dessa två modeller är att minnesnätverket inte har någon mekanism för att ändra innehållet i det externa minnet, medan NTM gör det. I praktiken leder detta till lättare inlärning i minnesnätverket, vilket i sin tur resulterade i att det användes mer i verkliga uppgifter [8, 9]. Tvärtom har NTM huvudsakligen testats på en serie småskaliga, noggrant utformade uppgifter som kopiering och associativ återkallelse. NTM är dock mer uttrycksfull, just för att det kan lagra och modifiera det interna tillståndet i nätverket som det behandlar en episod. Den ursprungliga NTM stöder två adresser (som kan användas samtidigt). De är innehållsbaserad och platsbaserad adressering. Vi noterar att den platsbaserade strategin är baserad på linjär adressering. Avståndet mellan varje par av på varandra följande minnesceller är fast på en konstant. Vi tar itu med denna begränsning, i detta papper, genom att införa en inlärbar adress vektor för varje minnescell i NTM med minst nyligen använda minne adresseringsmekanism, och vi kallar denna variant en dynamisk neural Turing maskin (D-NTM). Vi utvärderar den föreslagna D-NTM på hela uppsättningen Facebook bAbI uppgift [2] med antingen mjuk, differentierad uppmärksamhet eller hård, icke-differentierad uppmärksamhet [10] som en adresseringsstrategi. Våra experiment avslöjar att arXiv:1607.00036v1 [cs.LG] 30 Jun 2016 är det möjligt att använda den hårda, icke-differentiable uppmärksamhet mekanism, och i själva verket D-NTM med hård uppmärksamhet och GRU controller överträffar den med mjuk uppmärksamhet. 1. Vad är det för fel på dig? Vi föreslår en generalisering av Neural Turing Machine kallas en dynamisk neural Turing maskin (D-NTM) som använder sig av lärbar, plats-baserad adressering. 2. Utgångspunkten är följande: Vi demonstrerar tillämpningen av neural Turing maskiner för en mer komplicerad verklig uppgift: episodiska frågor-svar. 3. Vad är det som händer? Vi föreslår att man använder den hårda uppmärksamhetsmekanismen och empiriskt visar att den överträffar den mjuka uppmärksamhetsbaserade behandlingen. 4. Vad är det som händer? Vi föreslår en läroplansstrategi för vår modell med feedforward controller och diskret uppmärksamhet som förbättrar våra resultat avsevärt.
REF föreslog en Dynamic Neural Turing Machine (D-NTM) modell, som ger diskret tillgång till minnet.
Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}