Detta papper introducerar Grid Long Short-Term Memory, ett nätverk av LSTM-celler arrangerade i ett flerdimensionellt rutnät som kan tillämpas på vektorer, sekvenser eller högre dimensionella data såsom bilder. Nätverket skiljer sig från befintliga djup LSTM-arkitekturer genom att cellerna är anslutna mellan nätverkslager samt längs datans spatiotemporala dimensioner. Det ger därför ett enhetligt sätt att använda LSTM för både djup och sekventiell beräkning. Vi tillämpar modellen för algoritmiska uppgifter såsom heltal tillägg och bestämma paritet av slumpmässiga binära vektorer. Det kan lösa dessa problem för 15-siffriga heltal och 250-bitars vektorer respektive. Därefter ger vi resultat för tre empiriska uppgifter. Vi finner att 2D Grid LSTM uppnår 1,47 bitar per karaktär på Wikipedia tecken förutsägelse riktmärke, vilket är state-of-the-art bland neurala metoder. Vi observerar också att en tvådimensionell översättningsmodell baserad på Grid LSTM överträffar ett frasbaserat referenssystem på en kinesisk-till-engelska översättning uppgift, och att 3D Grid LSTM ger en nästan toppmodern felfrekvens på 0,32% på MNIST. Long Short-Term Memory (LSTM) nätverk är återkommande neurala nätverk utrustade med en särskild gating mekanism som styr tillgången till minnesceller [20]. Eftersom portarna kan förhindra resten av nätverket från att ändra innehållet i minnescellerna för flera tidssteg, LSTM-nätverk bevara signaler och sprida fel under mycket längre tid än vanliga återkommande neurala nätverk. Genom att självständigt läsa, skriva och radera innehåll från minnescellerna kan portarna också lära sig att ta hand om specifika delar av ingångssignalerna och ignorera andra delar. Dessa egenskaper tillåter LSTM-nätverk att bearbeta data med komplexa och separerade inbördes beroenden och att excel i en rad sekvens lärande domäner såsom taligenkänning [14], offline handskrivarigenkänning [15], maskinöversättning [35] och bild-till-caption generation [36, 25]. Även för icke-sekvensdata har de senaste framgångarna med de djupa nätverken visat att långa kedjor av sekventiell beräkning är nyckeln till att hitta och utnyttja komplexa mönster. Djupa nät lider av exakt samma problem som återkommande nät som tillämpas på långa sekvenser: nämligen att information från tidigare beräkningar snabbt försvagas när den fortskrider genom kedjan - problemet med den försvinnande lutningen [18] - och att varje skikt inte dynamiskt kan välja eller ignorera sina ingångar. Det verkar därför attraktivt att generalisera fördelarna med LSTM till djup beräkning. Vi utökar LSTM-celler till djupa nätverk inom en enhetlig arkitektur. Vi introducerar Grid LSTM, ett nätverk som är arrangerat i ett rutnät med en eller flera dimensioner. Nätverket har LSTM-celler längs någon eller alla av rutnätets dimensioner. Djupdimensionen behandlas som de andra dimensionerna och använder även LSTM-celler för att kommunicera direkt från ett lager till ett annat. Eftersom antalet N av dimensionerna i rutnätet lätt kan vara 2 eller mer, föreslår vi ett nytt, robust sätt att modulera N-vägskommunikationen över LSTM-cellerna.
Som en alternativ metod till begreppet 2DLSTM har ett nätverk av endimensionella LSTM-celler arrangerade i ett flerdimensionellt rutnät införts REF.
Grid Long Short-Term Memory
{'venue': 'ICLR 2016', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science']}