Sekventiell förutsägelse och klassificering är allmänt förekommande och utmanande problem i maskininlärning som kan kräva att identifiera komplexa beroenden mellan tidsmässigt avlägsna ingångar. Recurrent Neural Networks (RNN) har i teorin förmågan att hantera dessa tidsberoenden på grund av det korttidsminne som implementeras genom deras återkommande (feedback) anslutningar. I praktiken är de dock svåra att träna framgångsrikt när långtidsminnet krävs. Detta papper introducerar en enkel, men ändå kraftfull ändring av standard RNN arkitektur, Clockwork RNN (CW-RNN), där det dolda skiktet delas upp i separata moduler, varje processingångar i sin egen temporal granularity, vilket gör beräkningar endast vid dess föreskrivna klockfrekvens. I stället för att göra standardmodellerna för RNN mer komplexa minskar CW-RNN antalet RNN-parametrar, förbättrar prestandan avsevärt i de testade uppgifterna och påskyndar nätverksutvärderingen. Nätverket demonstreras i preliminära experiment med två uppgifter: ljudsignalgenerering och TIMIT talade ordklassificering, där det överträffar både RNN- och LSTM-nätverk.
En annan strukturell ändring som partitionerar det dolda lagret i separata moduler var och en med en distinkt temporal bearbetningshastighet eller klockfrekvens föreslås i REF.
A Clockwork RNN
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}