Många sekventiella bearbetningsuppgifter kräver komplexa icke-linjära övergångsfunktioner från ett steg till ett annat. Men återkommande neurala nätverk med sådana "djupa" övergångsfunktioner är fortfarande svårt att träna, även när man använder Long Short-Term Memory nätverk. Vi introducerar en ny teoretisk analys av återkommande nätverk baserat på Geršgorins cirkelteorem som belyser flera modellering och optimeringsfrågor och förbättrar vår förståelse av LSTM-cellen. Baserat på denna analys föreslår vi Recurrent Highway Networks (RHN), som är långa inte bara i tid utan också i rymden, generalisera LSTMs till större steg-till-steg djup. Experiment visar att den föreslagna arkitekturen resulterar i komplexa men effektiva modeller, slår tidigare modeller för teckenförutsägelse på Hutter Prize dataset med mindre än hälften av parametrarna. * Dessa författare bidrog lika mycket.
Baserat på insikter av motorväg lager, Zilly et al. REF introducerade Recurrent Highway Networks (RHN) som har långa kredittilldelningsvägar, inte bara i tid, utan även långt i rymden (per tidssteg).
Recurrent Highway Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}