Flera varianter av Long Short-Term Memory (LSTM) arkitektur för återkommande neurala nätverk har föreslagits sedan starten 1995. Under de senaste åren har dessa nätverk blivit toppmoderna modeller för en mängd olika maskininlärningsproblem. Detta har lett till ett förnyat intresse för att förstå roll och nytta av olika beräkningskomponenter i typiska LSTM-varianter. I den här artikeln presenterar vi den första storskaliga analysen av åtta LSTM-varianter på tre representativa uppgifter: taligenkänning, handstilsigenkänning och polyfonisk musikmodellering. Hyperparametrarna för alla LSTM-varianter för varje uppgift optimerades separat med hjälp av slumpmässig sökning och deras betydelse bedömdes med hjälp av det kraftfulla FANOVA-ramverket. Totalt summerar vi resultaten av 5400 experimentkörningar (15 års CPU-tid), vilket gör vår studie till den största i sitt slag på LSTM-nätverk. Våra resultat visar att ingen av varianterna kan förbättras på standard LSTM-arkitekturen avsevärt, och visar att den glömda porten och utmatningsfunktionen är dess mest kritiska komponenter. Vi observerar vidare att de studerade hyperparametrarna är praktiskt taget oberoende och härleder riktlinjer för deras effektiva justering.
Termen LSTM är ofta överbelastad; i detta papper hänvisar vi specifikt till varianten med glöm grindar och utan titthålsanslutningar, som fungerar på liknande sätt som mer komplexa varianter REF.
LSTM: A Search Space Odyssey
{'venue': 'IEEE Transactions on Neural Networks and Learning Systems ( Volume: 28, Issue: 10, Oct. 2017 ) Pages: 2222 - 2232', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}