I detta dokument introducerar vi en ny metod för att tolka återkommande neurala nätverk (RNN), särskilt långsiktiga minnesnätverk (LSTM) på cellnivå. Vi föreslår en systematisk pipeline för att tolka individuell dold tillståndsdynamik inom nätverket med hjälp av responskarakteriseringsmetoder. Det rangordnade bidraget från enskilda celler till nätverkets utdata beräknas genom att analysera en uppsättning tolkningsbara mått på deras frikopplade steg och sinusoidala svar. Som ett resultat, vår metod kan unikt identifiera neuroner med insiktsfull dynamik, kvantifiera samband mellan dynamiska egenskaper och testnoggrannhet genom ablation analys, och tolka effekten av nätverkskapacitet på ett nätverk dynamiska distribution. Slutligen visar vi att vår metod är generell och skalbar genom att utvärdera en rad olika sekventiella referensdataset.
Hasani m.fl. REF rankar enskilda cellers bidrag till slututgången för att hjälpa till att förstå LSTM dolda tillståndsdynamik.
Response Characterization for Auditing Cell Dynamics in Long Short-term Memory Networks
{'venue': '2019 International Joint Conference on Neural Networks (IJCNN)', 'journal': '2019 International Joint Conference on Neural Networks (IJCNN)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}