Recurrent Neural Networks (RNN), och särskilt en variant med Long ShortTerm Memory (LSTM), åtnjuter förnyat intresse som ett resultat av framgångsrika tillämpningar i ett brett spektrum av maskininlärningsproblem som involverar sekventiella data. LSTM ger dock exceptionella resultat i praktiken, men källan till deras prestanda och begränsningar är fortfarande ganska dåligt förstådd. Med hjälp av språkmodeller på teckennivå som en tolkningsbar testbädd strävar vi efter att överbrygga denna lucka genom att tillhandahålla en omfattande analys av deras representationer, förutsägelser och feltyper. I synnerhet, våra experiment avslöjar förekomsten av uttolkbara celler som håller reda på långdistansberoenden såsom linjelängder, citationstecken och parenteser. Dessutom tyder en omfattande analys med finita horisont n-gram-modeller på att dessa beroenden aktivt upptäcks och utnyttjas av nätverken. Slutligen tillhandahåller vi en detaljerad felanalys som föreslår områden för ytterligare studier.
På samma sätt analyserar REF LSTM på teckennivå språkmodellering.
Visualizing and Understanding Recurrent Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}