Framgången med ett kortfristigt minne (LSTM) neurala nätverk i språkbehandling beror vanligtvis på deras förmåga att fånga långväga statistiska regulariteter. Språklig regularitet är ofta känslig för syntaktisk struktur; kan sådana beroenden fångas upp av LSTM, som inte har tydliga strukturella representationer? Vi börjar ta itu med denna fråga med hjälp av nummeravtal i engelska ämnesverb beroenden. Vi undersöker arkitekturens grammatiska kompetens både med hjälp av utbildningsmål med ett tydligt grammatiskt mål (talförutsägelse, grammatiska bedömningar) och med hjälp av språkmodeller. I de starkt övervakade inställningarna uppnådde LSTM mycket hög total noggrannhet (mindre än 1 % fel), men felen ökade vid konflikt mellan sekventiell och strukturell information. Frekvensen av sådana fel ökade kraftigt i språkmodellering. Vi drar slutsatsen att LSTM:er kan fånga upp en icke-trivial mängd grammatisk struktur med riktad övervakning, men starkare arkitektur kan krävas för att ytterligare minska fel; dessutom är språkmodelleringssignalen otillräcklig för att fånga syntaxkänsliga beroenden, och bör kompletteras med mer direkt övervakning om sådana beroenden behöver fångas.
Slutligen undersöker Ref förvärv av beroenden på långa avstånd genom att studera nummeravtal i olika varianter av en LSTM-modell med olika mål (numreringsförutsägelse, grammatisk bedömning och språkmodellering).
Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}