Recurrent Neural Networks (RNN) fortsätter att visa enastående prestanda i sekvensmodelleringsuppgifter. Men träning RNNs på långa sekvenser möter ofta utmaningar som långsam slutledning, försvinnande gradienter och svårigheter att fånga långsiktiga beroenden. I backpropagation genom tidsinställningar, dessa frågor är nära kopplade med den stora, sekventiella beräkningsdiagram som följer av att veckla RNN i tid. Vi introducerar Skip RNN-modellen som utökar befintliga RNN-modeller genom att lära sig att hoppa över tillståndsuppdateringar och förkortar den effektiva storleken på beräkningsgrafen. Denna modell kan också uppmuntras att genomföra färre statliga uppdateringar genom en budgetåtstramning. Vi utvärderar den föreslagna modellen på olika uppgifter och visar hur den kan minska antalet nödvändiga RNN-uppdateringar samtidigt som prestandan för de grundläggande RNN-modellerna bevaras, och ibland till och med förbättras. Källa: https://imatge-upc.github.io/skiprnn-2017-telecombcn/.
REF föreslog Skip RNN för att lära sig att hoppa över statusuppdateringar.
Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}