Återkommande neurala nätverk är kraftfulla modeller för behandling av sekventiella data, men de är i allmänhet plågas av att försvinna och exploderande gradient problem. Enhetliga återkommande neurala nätverk (uRNNs), som använder enhetliga recidivmatriser, har nyligen föreslagits som ett sätt att undvika dessa frågor. Men i tidigare experiment var de återkommande matriserna begränsade till att vara en produkt av parameteriserade enhetliga matriser, och en öppen fråga kvarstår: när misslyckas en sådan parameterisering med att representera alla enhetliga matriser, och hur begränsar denna begränsade representationskapacitet vad man kan lära sig? För att ta itu med denna fråga föreslår vi full kapacitet uRNNs som optimerar deras recidivmatris över alla enhetliga matriser, vilket leder till betydligt förbättrad prestanda över URNNs som använder en begränsad kapacitet recidivmatris. Vårt bidrag består av två huvudkomponenter. För det första ger vi ett teoretiskt argument för att avgöra om en enhetlig parameterisering har begränsad kapacitet. Med detta argument visar vi att en nyligen föreslagen enhetlig parameterisering har begränsad kapacitet för dold statsdimension större än 7. För det andra visar vi hur en komplett, full kapacitet unitary recurrency-matris kan optimeras över de olika förgreningarna av enhetsmatriser. Den resulterande multiplikativa lutning steg är mycket enkel och kräver inte lutning klippning eller inlärningshastighet anpassning. Vi bekräftar nyttan av våra påståenden genom att empiriskt utvärdera våra nya full kapacitet uRNNs på både syntetiska och naturliga data, uppnå överlägsen prestanda jämfört med både LSTMs och de ursprungliga begränsad kapacitet uRNNs.
Den Full-Capacity uRNN REF ) optimerar W längs grenen av enhetliga matriser.
Full-Capacity Unitary Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}