Vi presenterar två enkla sätt att minska antalet parametrar och påskynda utbildningen av stora Long Short-Term Memory (LSTM) nätverk: den första är "matris factorization by design" av LSTM matris till produkten av två mindre matriser, och den andra är partitionering av LSTM matris, dess ingångar och tillstånd i de oberoende grupperna. Båda tillvägagångssätten gör att vi kan träna stora LSTM-nätverk betydligt snabbare till den toppmoderna förvirringen. På One Billion Word Benchmark förbättrar vi en modell perplexitet ner till 23.36.
REF minskar antalet modellparametrar genom att faktorisera eller partitionera LSTM-matriser.
Factorization tricks for LSTM networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}