Vi presenterar RNNbow, ett interaktivt verktyg för att visualisera lutningsflödet under backpropagation träning i återkommande neurala nätverk. RNNbow är ett webbprogram som visar den relativa lutningen bidrag från Recurrent Neural Network (RNN) celler i ett område av ett element i en sekvens. Vi beskriver beräkningen av backpropagation genom tiden (BPTT) som håller reda på specificerade gradienter, eller gradient bidrag från ett element i en sekvens till tidigare element i en sekvens. Genom att visualisera lutningen, i motsats till aktiveringar, ger RNNbow insikt i hur nätverket lär sig. Vi använder den för att utforska inlärningen av en RNN som är utbildad för att generera kod i C programmeringsspråket. Vi visar hur det avslöjar insikter i den försvinnande lutningen samt utvecklingen av träning som RNN arbetar sig igenom en corpus.
RNNbow REF-systemet hjälper domänexperter att förstå hur modellen tränas genom att visualisera informationen om lutning i backpropagation.
RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}