Återkommande neurala nätverk (RNN) har i stor utsträckning använts för att bearbeta sekventiella data. Men RNN är ofta svårt att träna på grund av den välkända lutningen försvinner och exploderar problem och svårt att lära sig långsiktiga mönster. Långt korttidsminne (LSTM) och gated recidiverande enhet (GRU) utvecklades för att ta itu med dessa problem, men användningen av hyperbolisk tangent och sigmoida åtgärder funktioner resulterar i lutning förfall över lager. Det är därför svårt att bygga ett effektivt utbildat djupt nät. Dessutom är alla nervceller i ett RNN-lager sammansnärjda och deras beteende är svårt att tolka. För att ta itu med dessa problem, en ny typ av RNN, som kallas oberoende återkommande neurala nätverk (In-dRNN), föreslås i detta dokument, där neuroner i samma lager är oberoende av varandra och de är anslutna över lager. Vi har visat att en IndRNN lätt kan regleras för att förhindra att lutningen exploderar och försvinner problem samtidigt som nätverket kan lära sig långsiktiga beroenden. Dessutom kan en IndRNN arbeta med icke-mättade aktiveringsfunktioner som relu (rektifierad linjär enhet) och fortfarande tränas robust. Flera IndRNNs kan staplas för att bygga ett nätverk som är djupare än de befintliga RNNs. Experimentella resultat har visat att den föreslagna IndRNN kan bearbeta mycket långa sekvenser (över 5000 tidssteg), kan användas för att bygga mycket djupa nätverk (21 lager som används i experimentet) och fortfarande tränas robust. Bättre resultat har uppnåtts på olika uppgifter genom att använda IndRNN jämfört med traditionella RNN och LSTM.
De oberoende återkommande neurala nätverken (IndRNN) REF tar rådata samt dess tidigare dolda tillstånd och utgång som den nuvarande inmatningen för att lösa gradienten försvinner problem.
Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}