Återkommande neurala nätverk är ett kraftfullt verktyg för att modellera sekventiella data, men beroendet av varje tidsstegs beräkning av föregående tidsstegs utgångsgränser parallellism och gör RNNs otympliga för mycket långa sekvenser. Vi introducerar kvasi-recurrent neurala nätverk (QRNNs), en strategi för neural sekvens modellering som växlar konvolutionella lager, som tillämpas parallellt över tidsteg, och en minimalistisk återkommande pooling funktion som gäller i parallella över kanaler. Trots att det saknas utbildningsbara återkommande lager, har staplade QRNNs bättre prediktiv noggrannhet än staplade LSTMs av samma dolda storlek. På grund av deras ökade parallellism är de upp till 16 gånger snabbare på tåg- och provtid. Experiment på språkmodellering, känsloklassificering, och tecken-nivå neural maskin översättning visar dessa fördelar och understryker livskraften av QRNNs som en grundläggande byggsten för en mängd olika sekvens uppgifter.
I REF infördes begreppet Quasi Recurrent Neural Networks (QRNN).
Quasi-Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}