Återkommande neurala nätverk (RNN) är notoriskt svåra att träna. När eigenvärdena i den dolda viktmatrisen avviker från absolut värde 1, blir optimeringen svår på grund av den väl studerade frågan om försvinnande och exploderande gradienter, särskilt när man försöker lära sig långsiktiga beroenden. För att kringgå detta problem föreslår vi en ny arkitektur som lär sig en enhetlig viktmatris, med eigenvärden av absolut värde exakt 1. Utmaningen vi tar itu med är att parametrisera enhetsmatriser på ett sätt som inte kräver dyra beräkningar (t.ex. eigendecomposition) efter varje viktuppdatering. Vi konstruerar en uttrycksfull enhetlig viktmatris genom att komponera flera strukturerade matriser som fungerar som byggstenar med parametrar att lära sig. Optimering med denna parameterisering blir möjlig endast när man överväger dolda tillstånd i den komplexa domänen. Vi visar på denna arkitekturs potential genom att uppnå toppmoderna resultat i flera svåra uppgifter med mycket långsiktiga beroenden.
Eftersom det är svårt att parameterisera verkligt värderade ortogonala vikter rekommenderar REF att man byter till den komplexa domänen, vilket resulterar i en enhetlig RNN (uRNN).
Unitary Evolution Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}