Under de senaste åren har betydande framsteg gjorts när det gäller att framgångsrikt utbilda återkommande neurala nätverk (RNN) om problem med sekvensinlärning som inbegriper långvariga tidsberoenden. Framstegen har gjorts på tre fronter: a) Algoritmiska förbättringar med sofistikerade optimeringstekniker, b) nätverksdesign med komplexa dolda lagernoder och specialiserade återkommande lageranslutningar och c) viktinitieringsmetoder. I detta dokument fokuserar vi på nyligen föreslagna viktinitiering med identitetsmatris för de återkommande vikterna i en RNN. Denna initiering föreslås specifikt för dolda noder med rektifierad linjär enhet (ReLU) icke-linearitet. Vi erbjuder ett enkelt dynamiskt systemperspektiv på viktinitieringsprocessen, vilket gör att vi kan föreslå en modifierad viktinitieringsstrategi. Vi visar att denna initieringsteknik leder till framgångsrik träning RNN som består av ReLUs. Vi visar att vårt förslag ger en jämförbar eller bättre lösning på tre leksaksproblem med lång tidsstruktur: additionsproblem, multiplikationsproblem och MNIST klassificeringsproblem med hjälp av sekvens av pixlar. Dessutom presenterar vi resultat för ett problem med erkännande av referensåtgärder.
REF föreslog en ändrad viktinitieringsstrategi baserad på ett enkelt dynamiskt systemperspektiv på viktinitieringsprocessen som leder till framgångsrik träning av RNN som består av ReLUs.
Improving performance of recurrent neural network with relu nonlinearity
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}