Återkommande neurala nätverk är en kraftfull modell som lär sig temporal mönster i sekventiella data. Under en lång tid, trodde man att återkommande nätverk är svåra att träna med hjälp av enkla optimerare, såsom stokastisk lutning nedstigning, på grund av den så kallade försvinnande lutning problem. I den här artikeln visar vi att det är fullt möjligt att lära sig mer långsiktiga mönster i verkliga data, t.ex. i naturligt språk, med hjälp av lutningsnedstigning. Detta uppnås genom att använda en liten strukturell modifiering av den enkla återkommande neurala nätverksarkitekturen. Vi uppmuntrar några av de dolda enheterna att långsamt förändra sitt tillstånd genom att göra en del av den återkommande viktmatrisen nära identiteten, vilket skapar ett slags långtidsminne. Vi utvärderar vår modell på språkmodellering uppgifter på benchmarking dataset, där vi får liknande prestanda som de mycket mer komplexa Long Term Memory (LSTM) nätverk (Hochreiter & Schmidhuber, 1997).
REF föreslog att ett dolt lager skulle läggas till RNN och att viktmatrisen skulle ligga nära identiteten.
Learning Longer Memory in Recurrent Neural Networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science']}