Recurrent Neural Networks (RNN) är utformade för att hantera sekventiella data men lider av försvinnande eller exploderande gradienter. Det senaste arbetet med Unitary Recurrent Neural Networks (uRNN) har använts för att ta itu med denna fråga och i vissa fall överträffar de funktioner som finns i nätverk för kortfristiga minnen (LSTM). Vi föreslår ett enklare och nytt uppdateringsprogram för att upprätthålla ortogonala återkommande viktmatriser utan att använda komplexa värderade matriser. Detta görs genom att parametrisera med en skev-symmetrisk matris med Cayley transform. En sådan parametrisering kan inte representera matriser med negativa eigenvärden, men denna begränsning övervinns genom att skala den återkommande viktmatrisen med en diagonal matris bestående av ettor och negativa. Det föreslagna utbildningsprogrammet innebär en enkel lutningsberäkning och uppdateringssteg. I flera experiment, den föreslagna skala Cayley orthogonal recidiverande neurala nätverk (scoRNN) uppnår överlägsna resultat med färre trainee parametrar än andra unitary RNNs. * Lika bidragsgivare arXiv:1707.09520v1 [stat.ML]
Relaterat arbete använder också Cayley transformation REF för att säkerställa ortogonalitet.
Orthogonal Recurrent Neural Networks with Scaled Cayley Transform
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}