Bearbetning av sekventiella data av variabel längd är en stor utmaning i ett brett spektrum av tillämpningar, såsom taligenkänning, språkmodellering, generativ bildmodellering och maskinöversättning. Här tar vi itu med denna utmaning genom att föreslå en ny återkommande neurala nätverk (RNN) arkitektur, Fast-Slow RNN (FS-RNN). FS-RNN innehåller styrkan hos både multiskaliga RNN och djupa övergångar RNN, eftersom den behandlar sekventiella data på olika tidsskalor och lär sig komplexa övergångsfunktioner från ett steg till ett annat. Vi utvärderar FS-RNN på två språkmodelleringsdata på teckennivå, Penn Treebank och Hutter Prize Wikipedia, där vi förbättrar de senaste resultaten till 1,19 respektive 1,25 bits-per-tecken (BPC). Dessutom uppnår en ensemble av två FS-RNNs 1.20 BPC på Hutter Prize Wikipedia överträffar den mest kända komprimeringsalgoritmen med avseende på BPC-måttet. Vi presenterar också en empirisk undersökning av FS-RNN:s inlärnings- och nätverksdynamik, vilket förklarar den förbättrade prestandan jämfört med andra RNN-arkitekturer. Vårt tillvägagångssätt är allmänt eftersom alla typer av RNN-celler är en möjlig byggsten för FS-RNN-arkitekturen, och därmed kan tillämpas flexibelt på olika uppgifter.
Det snabbt återkommande neurala nätverket (FS-RNN) REF ärver fördelar från både HM-RNN och RHN.
Fast-Slow Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}