Long Short-Term Memory (LSTM) är en populär metod för att öka förmågan hos Recurrent Neural Networks att lagra längre tidsinformation. Kapaciteten hos ett LSTM-nätverk kan ökas genom att utöka och lägga till lager. Vanligtvis inför dock den förra ytterligare parametrar, medan den senare ökar körtiden. Som ett alternativ föreslår vi den tensoriserade LSTM där de dolda staterna representeras av tensorer och uppdateras via en tvärlagerkonvolution. Genom att öka tensorstorleken, kan nätverket utökas effektivt utan ytterligare parametrar eftersom parametrarna delas över olika platser i tensoren; genom att fördröja utdata, kan nätverket fördjupas implicit med lite extra körtid eftersom djupa beräkningar för varje tidssteg slås samman till tidsberäkningar av sekvensen. Experiment som utförs på fem utmanande sekvensinlärningsuppgifter visar den föreslagna modellens potential.
Zhen m.fl. föreslog Tensorized LSTM REF där nätverket kan utvidgas effektivt och fördjupas implicit genom att öka tensorstorleken och fördröja utmatningen.
Wider and Deeper, Cheaper and Faster: Tensorized LSTMs for Sequence Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}