Recurrent Neural Networks (RNN) har blivit det toppmoderna valet för att extrahera mönster från temporalsekvenser. Nuvarande RNN-modeller är dock olämpliga för att bearbeta oregelbundet provade data som utlöses av händelser som genereras i kontinuerlig tid av sensorer eller andra neuroner. Sådana data kan till exempel uppstå när indata kommer från nya händelsestyrda artificiella sensorer som genererar glesa, asynkrona strömmar av händelser eller från flera konventionella sensorer med olika uppdateringsintervall. I detta arbete introducerar vi den fasade LSTM-modellen, som utökar LSTM-enheten genom att lägga till en ny tidsgrind. Denna grind styrs av en parametriserad svängningar med ett frekvensområde som producerar uppdateringar av minnescellen endast under en liten procentandel av cykeln. Även med de glesa uppdateringar som följer av oscillationen uppnår det fasade LSTM-nätverket snabbare konvergens än vanliga LSTM:er på uppgifter som kräver inlärning av långa sekvenser. Modellen integrerar naturligt ingångar från sensorer med godtycklig provtagningsfrekvens och öppnar därmed nya utredningsområden för behandling av asynkrona sensoriska händelser som för med sig tidsinformation. Det förbättrar också avsevärt prestandan hos LSTMs i standard RNN-applikationer, och gör det med en order-of-magnitude färre beräkningar vid körning.
I en annan modellfasad LSTM-modell REF, som utökar LSTM-enheten genom att lägga till en ny tidsgrind, kan asynkron information behandlas.
Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}