Återkommande neurala nätverk (RNN) har visat framgång för många sekvens-modellering uppgifter, men lärande långsiktiga beroenden från data är fortfarande svårt. Detta tillskrivs ofta den försvinnande gradient problem, som visar att gradient komponenter som relaterar en förlust vid tiden t till tiden t − τ tenderar att förfall exponentiellt med τ. Långtidsminne (LSTM) och inhägnade återkommande enheter (GRU), de mest använda RNN-arkitekturerna, försöker lösa detta problem genom att göra förfallets bas närmare 1. NARX RNNs 1 tar en ortogonal strategi: genom att inkludera direkta anslutningar, eller förseningar, från det förflutna, NARX RNNs gör förfall exponenten närmare 0. Men som infördes, NARX RNNs minska sönderfall exponenten endast med en faktor av n d, antalet förseningar, och samtidigt öka beräkningen med samma faktor. Vi introducerar en ny variant av NARX RNNs, som kallas MIxed hiSTARY RNNs, som tar itu med dessa nackdelar. Vi visar att för τ ≤ 2 n d −1, MIST RNNs minska sönderfallets värsta fall exponent från τ /n d till log τ, samtidigt som beräknings komplexitet som liknar LSTM och GRUs. Vi jämför MIST RNN med enkla RNN, LSTM och GRU över 4 olika uppgifter. MIST RNNs överträffar alla andra metoder i två fall, och i samtliga fall är konkurrenskraftiga.
Dessutom har MIST-RNN REF-modellen utvecklats på grundval av en gatingmekanism som liknar GRU.
Revisiting NARX Recurrent Neural Networks for Long-Term Dependencies.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}