I detta arbete, föreslår vi en ny återkommande neurala nätverk (RNN) arkitektur. Den föreslagna RNN, gated-feedback RNN (GF-RNN), utökar den befintliga metoden att stapla flera återkommande lager genom att tillåta och kontrollera signaler som flödar från övre återkommande lager till lägre lager med hjälp av en global gatingenhet för varje lagerpar. De återkommande signalerna som utbyts mellan skikten är adaptivt baserade på de tidigare dolda tillstånden och den aktuella inmatningen. Vi utvärderade den föreslagna GF-RNN med olika typer av återkommande enheter, såsom tanh, långt korttidsminne och gated återkommande enheter, på uppgifter tecken-nivå språkmodellering och Python programutvärdering. Vår empiriska utvärdering av olika RNN-enheter visade att GF-RNN i båda uppgifterna överträffar de konventionella metoderna för att bygga djupa staplade RNN-enheter. Vi föreslår att förbättringen uppstår eftersom GF-RNN adaptivt kan tilldela olika lager till olika tidsskalor och interaktioner mellan lager och lager (inklusive de uppifrån och ner som vanligtvis inte finns i en staplad RNN) genom att lära sig att portera dessa interaktioner.
Nya arbeten utforska Gated Recurrent Units neural network(GRU) REF om uppgiften att känslor klassificering.
Gated Feedback Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}