En nyligen genomförd strategi för att kringgå problemet med exploderande och försvinnande lutning i RNN, och för att möjliggöra en stabil spridning av signaler över långa tidsskalor, är att begränsa återkommande konnektivitetsmatriser till att vara ortogonala eller enhetliga. Detta säkerställer eigenvärden med enhetsnorm och därmed stabil dynamik och träning. Detta sker dock på bekostnad av minskad expressivitet på grund av den begränsade variationen av ortogonala omvandlingar. Vi föreslår en ny konnektivitetsstruktur baserad på Schurs nedbrytning och en uppdelning av Schurs form i normala och icke-normala delar. Detta gör det möjligt att parametrisera matriser med enhet-norm eigenspectra utan ortogonalitet begränsningar på eigenbases. Den resulterande arkitekturen säkerställer tillgång till ett större utrymme av spektralt begränsade matriser, varav ortogonala matriser är en delmängd. Denna avgörande skillnad behåller stabilitetfördelarna och träningshastigheten hos ortogonala RNN samtidigt som den ökar expressiviteten, särskilt när det gäller uppgifter som kräver beräkningar över pågående inmatningssekvenser.
För att hantera den begränsade expressiviteten hos enhetliga RNN föreslog REF att Schur skulle brytas ned till sina konnektivitetsmatriser.
Non-normal Recurrent Neural Network (nnRNN): learning long time dependencies while improving expressivity with transient dynamics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}