Drivkraften bakom de senaste framgångarna för LSTMs har varit deras förmåga att lära sig komplexa och icke-linjära relationer. Följaktligen har vår oförmåga att beskriva dessa relationer lett till att LSTMs karakteriseras som svarta lådor. I detta syfte introducerar vi kontextuell nedbrytning (CD), en tolkningsalgoritm för analys av enskilda förutsägelser gjorda av standard LSTMs, utan några ändringar i den underliggande modellen. Genom att bryta ner en LSTM-utgång fångar CD in bidrag från kombinationer av ord eller variabler till den slutliga förutsägelsen av en LSTM. När det gäller uppgiften att analysera känslor med Yelp- och SST-data, visar vi att CD:n på ett tillförlitligt sätt kan identifiera ord och fraser av kontrasterande känslor, och hur de kombineras för att ge LSTM:s slutliga förutsägelse. Med hjälp av frasnivåetiketterna i SST visar vi också att CD framgångsrikt kan extrahera positiva och negativa negationer från en LSTM, något som inte tidigare har gjorts.
Contextual decomposition (CD) REF är särskilt utformad för LSTMs.
Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}