Matchvy b c a d e f g Bild. 1................................................................ Användargränssnittet LSTMVIS. Användaren väljer interaktivt en textserie som anger en hypotes om modellen. Detta intervall används sedan för att matcha liknande dolda tillståndsmönster i datasetet som visas nedan. Urvalet görs genom att ange en start-stopp-intervall i texten (grå gräns (b) och blå markering (c)) och en aktiveringströskel (röd streckad linje). Urvalet visualiseras av (a) de dolda tillstånden valda, (d) antalet aktiva tillstånd och (e) aktiveringsintervallen för varje dolt tillstånd. Verktyget kan sedan matcha detta val med liknande dolda tillståndsmönster i datamängden med varierande längder (f), vilket ger inblick i de representationer som modellen lärt sig. Matchvyn innehåller dessutom användardefinierade metadata (t.ex. del-av-tal-taggar) (g) som gör det möjligt för användaren att ytterligare förfina eller bekräfta urvalshypotesen. Abstract-Recurrent neurala nätverk, och i synnerhet långa kortsiktiga minnesnätverk (LSTMs), är ett anmärkningsvärt effektivt verktyg för sekvensmodellering som lär sig en tät svart-box dold representation av deras sekventiella ingång. Forskare som är intresserade av att bättre förstå dessa modeller har studerat förändringarna i dolda tillstånd representationer över tid och lagt märke till vissa tolkningsbara mönster men också betydande buller. I detta arbete presenterar vi LSTMVIS ett visuellt analysverktyg för återkommande neurala nätverk med fokus på att förstå dessa dolda tillståndsdynamik. Verktyget gör det möjligt för en användare att välja en hypotes indataintervall för att fokusera på lokala tillstånd förändringar, att matcha dessa tillstånd förändringar till liknande mönster i en stor datauppsättning, och att anpassa dessa resultat till domänspecifika strukturella annoteringar. Vi visar vidare flera användningsfall av verktyget för att analysera specifika dolda tillståndsegenskaper på datamängder som innehåller häckning, frasstruktur och ackordprogression, och visar hur verktyget kan användas för att isolera mönster för ytterligare statistisk analys.
Dessutom visade Ref ) ett system för visuell analys av dold tillståndsdynamik i återkommande neurala nätverk.
Visual Analysis of Hidden State Dynamics in Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}