I detta dokument river vi upp en grundläggande koppling mellan viktade finita automata (WFA) och andra ordningens återkommande neurala nätverk (2-RNN): när det gäller sekvenser av diskreta symboler, WFA och 2-RNN med linjära aktiveringsfunktioner är expressivt likvärdiga. Motiverade av detta resultat bygger vi på en ny förlängning av spektral inlärningsalgoritmen till vektorvärderade WFAs och föreslår den första bevisbara inlärningsalgoritmen för linjära 2-RNNs definierade över sekvenser av kontinuerliga ingångsvektorer. Denna algoritm bygger på att uppskatta låg rang subblock av den så kallade Hankel tensor, från vilken parametrarna för en linjär 2-RNN kan återvinnas. Den föreslagna metodens prestanda bedöms i en simuleringsstudie.
I särskilt liknande arbeten visade REF att RNN i andra ordningen med linjär aktivering är uttryckligt likvärdiga med viktad finita automata.
Connecting Weighted Automata and Recurrent Neural Networks through Spectral Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}