Två potentiella flaskhalsar på expressiviteten av återkommande neurala nätverk (RNN) är deras förmåga att lagra information om uppgiften i sina parametrar, och att lagra information om indatahistoriken i sina enheter. Vi visar experimentellt att alla gemensamma RNN arkitekturer uppnår nästan samma per-task och per-enhet kapacitetsbegränsningar med noggrann träning, för en mängd olika uppgifter och stapling djup. De kan lagra en mängd uppgiftsinformation som är linjär i antalet parametrar, och är cirka 5 bitar per parameter. De kan dessutom lagra ungefär ett reellt tal från sin ingångshistorik per dold enhet. Vi finner vidare att för flera uppgifter är det per-task parameter kapacitet bundet som bestämmer prestanda. Dessa resultat tyder på att många tidigare resultat som jämför RNN-arkitekturer främst beror på skillnader i utbildningseffektivitet snarare än på skillnader i kapacitet. Som stöd för denna observation jämför vi träningssvårigheter för flera arkitekturer, och visar att vanilj RNN är mycket svårare att träna, men ändå har något högre kapacitet. Slutligen föreslår vi två nya RNN-arkitekturer, varav en är lättare att träna än LSTM eller GRU för djupt staplade arkitekturer.
I detta sammanhang visade Collins, Sohl-Dickstein och Sussillo REF att många skillnader som har rapporterats om RNN:s prestanda beror på deras träningseffektivitet snarare än på nätverkens uttryckskraft.
Capacity and Trainability in Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}