Medan neurala nätverk har framgångsrikt tillämpats på många naturliga språk bearbetning uppgifter, de kommer på bekostnad av tolkningsbarhet. I detta dokument föreslår vi en allmän metod för att analysera och tolka beslut från en neural modell genom att observera effekterna på modellen av radering av olika delar av representationen, såsom indata ord-vektor dimensioner, mellanliggande dolda enheter, eller inmatningsord. Vi presenterar flera metoder för att analysera effekterna av sådan radering, från att beräkna dess inverkan på utvärderingsmått, till att använda förstärkning lärande för att radera den minsta uppsättning indataord för att vända en neural modells beslut. I en omfattande analys av flera NLP-uppgifter från lexikal (ordform, morfologi) till meningsnivå (sentiment) till dokumentnivå (sentimentaspekt), visar vi att den föreslagna metoden inte bara ger tydliga förklaringar om neurala modellbeslut, utan också ger ett sätt att genomföra felanalys på neurala modeller.
REF använder förstärkning lärande för att hitta de optimala orden att ta bort för att lura klassificeringen.
Understanding Neural Networks through Representation Erasure
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}