Återkommande neurala nätverk (RNN) är kraftfulla arkitekturer för att modellera sekventiella data, på grund av deras förmåga att lära sig kort och långsiktig beroenden mellan de grundläggande elementen i en sekvens. Icke desto mindre, populära uppgifter som tal eller bildigenkänning, involverar flerdimensionella indata funktioner som kännetecknas av starka interna beroenden mellan dimensionerna av indatavektorn. Vi föreslår en ny quaternion recidiverande neurala nätverk (QRNN), tillsammans med en quaternion långtidsminne neurala nätverk (QLSTM), som tar hänsyn till både yttre relationer och dessa interna strukturella beroenden med quaternion algebra. På samma sätt som kapslar gör quaternions QRNN att koda interna beroenden genom att komponera och bearbeta multidimensionella funktioner som enskilda enheter, medan den återkommande operationen avslöjar korrelationer mellan de element som utgör sekvensen. Vi visar att både QRNN och QLSTM uppnår bättre prestanda än RNN och LSTM i en realistisk tillämpning av automatisk taligenkänning. Slutligen visar vi att QRNN och QLSTM med en maximal faktor på 3,3x minskar antalet fria parametrar som behövs, jämfört med verkligt värderade RNN och LSTM för att uppnå bättre resultat, vilket leder till en mer kompakt representation av relevant information.
REF byggde quaternion recidiverande neurala nätverk och quaternion långsiktiga minnes neurala nätverk, och uppnådde en bättre prestanda än real-värderade nätverk.
Quaternion Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}