Recurrent Neural Networks (RNN) har använts framgångsrikt i många tillämpningar. Problemet med att lära sig långsiktiga beroenden i sekvenser som använder dessa nätverk är dock fortfarande en stor utmaning. Nya metoder har föreslagits för att lösa detta problem genom att begränsa övergångsmatrisen att vara enhetlig under utbildningen, vilket säkerställer att dess norm är exakt lika med en. Dessa metoder har antingen begränsad expressivitet eller skalan dåligt med storleken på nätverket jämfört med den enkla RNN fall, särskilt vid användning av stokastisk lutning nedstigning (SGD) med en liten mini-batch storlek. Våra bidrag är som följer. Vi visar först att begränsa övergången matris att vara enhetlig är ett specialfall av en ortogonal begränsning. Därför är det kanske inte nödvändigt att arbeta med komplexa matriser. Sedan presenterar vi en ny parametrisering av övergångsmatrisen som möjliggör effektiv träning av en RNN samtidigt som den säkerställer att matrisen alltid är ortogonal. Med vårt tillvägagångssätt kan ett SGD-steg, i värsta fall, utföras i tids komplexitet O(T n 2 ), där T och n är längden på ingångssekvensen respektive storleken på det dolda lagret. Denna tid komplexitet är samma som den enkla RNN. Slutligen testar vi vår nya parametrisering på problem med långsiktiga beroenden. Våra resultat visar att den ortogonala begränsningen på övergångsmatrisen som tillämpas genom vår parametrisering ger liknande fördelar till den enhetliga begränsningen, utan tids komplexitetsbegränsningar.
REF, å andra sidan, har använt en komplex, enhetlig övergång matris för att utgöra en ny RNN.
Efficient Orthogonal Parametrisation of Recurrent Neural Networks Using Householder Reflections
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}