Sofistikerade gated återkommande neurala nätverk arkitekturer som LSTMs och GRUs har visat sig vara mycket effektiva i en myriad av program. Vi utvecklar en o-graderad enhet, den statistiska återkommande enheten (SRU), som kan lära sig långsiktiga beroenden i data genom att bara hålla rörliga medelvärden av statistik. SRU: s arkitektur är enkel, un-gated, och innehåller ett jämförbart antal parametrar till LSTMs; ändå, SRUs presterar gynnsamt till mer sofistikerade LSTM och GRU alternativ, ofta överträffar en eller båda i olika uppgifter. Vi visar SRU:s effektivitet jämfört med LSTM:er och GRU:er på ett opartiskt sätt genom att optimera respektive arkitekturs hyperparametrar i ett Bayesianskt optimeringssystem för både syntetiska och verkliga uppgifter.
Oliva m.fl. I REF föreslogs ett oreglerat alternativ till LSTM, kallat den statistiska recurrent unit (SRU).
The Statistical Recurrent Unit
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}