Detta dokument utvecklar FastRNN och FastGRNN algoritmer för att ta itu med de dubbla RNN begränsningar av felaktig utbildning och ineffektiv förutsägelse. Tidigare metoder har förbättrat noggrannheten på bekostnad av förutsägelsekostnader som gör dem ogenomförbara för resursbegränsade och realtidstillämpningar. Enhetliga RNN har ökat noggrannheten något genom att begränsa intervallet för statsövergångsmatrisens singularvärden men har också ökat modellstorleken eftersom de kräver ett större antal dolda enheter för att kompensera för förlust av uttryckskraft. Gated RNNs har fått toppmoderna noggrannheter genom att lägga till extra parametrar vilket resulterar i ännu större modeller. FastRNN tar upp dessa begränsningar genom att lägga till en restanslutning som inte uttryckligen begränsar räckvidden för de enskilda värdena och som endast har två extra skalärparametrar. FastGRNN utökar sedan residualanslutningen till en grind genom att återanvända RNN-matriserna för att matcha toppmoderna gated RNN-accuracies men med en 2-4x mindre modell. Enforcing FastGRNN matriser att vara låg-rank, sparsamt och kvantized resulterade i exakta modeller som kunde vara upp till 35x mindre än ledande grindar och enhetliga RNNs. Detta gjorde det möjligt för FastGRNN att exakt känna igen "Hey Cortana" wakeword med en 1 KB-modell och att vara utplacerad på svårt resursbegränsade IoT-mikrokontroller för liten för att lagra andra RNN-modeller. FastGRNN:s kod finns tillgänglig på [30].
REF föreslog FastRNN genom att lägga till en kvarvarande anslutning för att hantera felaktig träning och ineffektiv förutsägelse.
FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}