Medan Recurrent Neural Networks (RNN) är kända för att vara Turing komplett, detta bygger på oändlig precision i staterna och obegränsad beräkningstid. Vi betraktar fallet med RNN med ändlig precision vars beräkningstid är linjär i indatalängden. Under dessa begränsningar visar vi att olika RNN-varianter har olika beräkningskraft. I synnerhet visar vi att LSTM och Elman-RNN med ReLU aktivering är strikt starkare än RNN med en squashing aktivering och GRU. Detta uppnås eftersom LSTMs och ReLU-RNNs kan enkelt genomföra räkna beteende. Vi visar empiriskt att LSTM verkligen lär sig att effektivt använda räknemekanismen.
REF visar att LSTM och enkla RNN med ReLU-aktivering kan lära sig att räkna obundet, i motsats till GRU.
On the Practical Computational Power of Finite Precision RNNs for Language Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}