I denna uppsats utforskar vi olika sätt att utvidga ett återkommande neuralt nätverk (RNN) till en djup RNN. Vi börjar med att hävda att begreppet djup i en RNN inte är så tydligt som det är i feedfore neurala nätverk. Genom att noggrant analysera och förstå arkitekturen hos en RNN hittar vi dock tre punkter i en RNN som kan göras djupare; 1) indata-till-dold funktion, 2) dolda-till-dold övergång och 3) dolda-till-utgång funktion. Baserat på denna observation, föreslår vi två nya arkitekturer av en djup RNN som är ortogonala till ett tidigare försök att stapla flera återkommande lager för att bygga en djup RNN (Schmidhuber, 1992; El Hihi och Bengio, 1996). Vi tillhandahåller en alternativ tolkning av dessa djupa RNN med hjälp av en ny ram baserad på neurala operatörer. De föreslagna djupa RNN utvärderas empiriskt på uppgifter polyfonisk musik förutsägelse och språkmodellering. Det experimentella resultatet stöder vårt påstående att de föreslagna djupa RNN:erna drar nytta av djupet och överträffar de konventionella, grunda RNN:erna.
Som föreslagits av REF, termen djup i RNN kan också hänvisa till input-to-dold, dolda-till-dold eller dolda-till-utput anslutningar.
How to Construct Deep Recurrent Neural Networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science', 'Mathematics']}