Framgången av neurala nätverk kommer hand i hand med en önskan om mer tolkningsbarhet. Vi fokuserar på textklassificeringar och gör dem mer tolkningsbara genom att låta dem ge en motivering till sina förutsägelser. Vi närmar oss detta problem genom att gemensamt utbilda två neurala nätverksmodeller: en latent modell som väljer en logik (dvs. en kort och informativ del av inmatningstexten), och en klassificering som lär sig av orden enbart i logiken. Tidigare arbete föreslogs för att tilldela binära latenta masker till ingångspositioner och för att främja korta urval via sparsityindustriing sanktioner såsom L 0 legalisering. Vi föreslår en latent modell som blandar diskret och kontinuerligt beteende som samtidigt möjliggör binära val och lutningsbaserad träning utan REINFORCE. I vår formulering kan vi korrekt beräkna det förväntade värdet av påföljder såsom L 0, vilket gör att vi direkt optimerar modellen mot en förspecificerad textvalsfrekvens. Vi visar att vår strategi är konkurrenskraftig med tidigare arbete med rationell utvinning, och utforska ytterligare användningar i uppmärksamhetsmekanismer.
REF föreslog en oövervakad latent modell som väljer en logik och sedan använder motivet för känsloanalys.
Interpretable Neural Predictions with Differentiable Binary Variables
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}