Medan återkommande neurala nätverk har funnit framgång i en mängd olika naturliga språk bearbetning applikationer, de är allmänna modeller av sekventiella data. Vi undersöker hur egenskaperna hos data om naturligt språk påverkar en LSTM:s förmåga att lära sig en icke språklig uppgift: att återkalla element från dess ingång. Vi finner att modeller som är utbildade på naturligt språk data kan återkalla polletter från mycket längre sekvenser än modeller som är utbildade på icke-språkliga sekventiella data. Dessutom visar vi att LSTM lär sig att lösa memoreringsarbetet genom att uttryckligen använda en delmängd av sina neuroner för att räkna tidssteg i inmatningen. Vi antar att mönster och struktur i naturliga språkdata gör det möjligt för LSTM:er att lära sig genom att tillhandahålla ungefärliga sätt att minska förluster, men att förstå effekten av olika träningsdata på inlärningsförmågan hos LSTM:er är fortfarande en öppen fråga.
Dessutom visade REF att LSTM utbildade sig på data om naturligt språk som Penn Treebank kunde räkna mycket längre sekvenser än på en modifierad version av Penn Treebank där strukturen i det naturliga språket stördes.
LSTMs Exploit Linguistic Attributes of Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}