Vi undersöker parameter-rymdgeometrin för återkommande neurala nätverk (RNN) och utvecklar en anpassning av väg-SGD optimeringsmetod, anpassad till denna geometri, som kan lära sig enkla RNNs med ReLU aktiveringar. På flera dataset som kräver att fånga långsiktig beroendestruktur, visar vi att väg-SGD kan avsevärt förbättra utbildningsmöjligheterna för ReLU RNN jämfört med RNNs utbildade med SGD, även med olika nyligen föreslagna initialiseringsprogram.
I REF undersöktes geometrin för RNNs och en vägnormaliserad optimeringsmetod för utbildning föreslogs för RNNs med ReLU aktivering.
Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}