Även om djupgående inlärningsmodeller har visat sig vara effektiva när det gäller att lösa problem i behandlingen av naturligt språk, är den mekanism genom vilken de kommer fram till sina slutsatser ofta oklar. Som ett resultat av detta behandlas dessa modeller i allmänhet som svarta lådor, vilket inte ger någon inblick i de underliggande lärda mönstren. I detta dokument överväger vi Long Short Term Memory Networks (LSTMs) och demonstrerar en ny metod för att spåra betydelsen av en given inmatning till LSTM för en given utgång. Genom att identifiera genomgående viktiga mönster av ord, vi kan destillera state of the art LSTMs på känsla analys och frågor besvara i en uppsättning representativa fraser. Denna representation valideras sedan kvantitativt genom att använda de extraherade fraserna för att konstruera en enkel, regelbaserad klassificering som approximerar LSTM-utgången.
REF införde en sönderdelning av LSTM:s utdata till en summa över ordkoefficienter, och visade att dessa koefficienter är meningsfulla genom att använda dem för att destillera LSTM:er till regelbaserade klassificeringar.
Automatic Rule Extraction from Long Short Term Memory Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}