I denna uppsats studerar vi nya neurala nätverk strukturer för att bättre modellera långsiktigt beroende i sekventiella data. Vi föreslår att fler minnesenheter används för att hålla reda på mer tidigare tillstånd i återkommande neurala nätverk (RNN), som alla regelbundet matas till de dolda skikten som återkoppling genom olika viktade vägar. Genom att utöka den populära återkommande strukturen i RNN ger vi modellerna bättre korttidsminnesmekanism för att lära sig långsiktigt beroende i sekvenser. Analogt med digitala filter i signalbehandling kallar vi dessa strukturer för högre order RNNs (HORNNs). Liksom RNNs, kan HORNNs också läras med hjälp av back-förökning genom tid metod. HORNN är i allmänhet tillämpliga på en mängd olika sekvensmodelleringsuppgifter. I detta arbete har vi undersökt HORNNs för språkmodellering uppgiften med hjälp av två populära datamängder, nämligen Penn Treebank (PTB) och engelska text8 datamängder. Experimentella resultat har visat att de föreslagna HORNN-värdena ger den senaste prestandan på båda datamängderna, vilket är betydligt bättre än de vanliga RNN-värdena och de populära LSTM-värdena.
I högre ordning RNNs föreslås av REF, fler minnesenheter används för att registrera fler tidigare tillstånd, som alla regelbundet matas till de dolda skikten som återkopplingar genom olika viktade vägar.
Higher Order Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}