Vi föreslår en teknik för att ta fram "visuella förklaringar" för beslut från en stor klass av Convolutional Neural Network (CNN)-baserade modeller, vilket gör dem mer transparenta och begripliga. Vår approach-Gradient-viktad Class Activation Mapping (Grad-CAM), använder gradienterna för alla målkoncept (säg "hund" i ett klassificeringsnätverk eller en sekvens av ord i bildtextnätverk) som flyter in i det slutliga konvolutionslagret för att producera en grov lokaliseringskarta som belyser de viktiga regionerna i bilden för att förutsäga konceptet. Till skillnad från tidigare metoder är Grad-CAM tillämpligt på en mängd olika CNN-modeller: (1) CNN med fullt anslutna skikt (t.ex.VGG), (2) CNN som används för strukturerade utgångar (t.ex. bildbehandling), (3) CNN som används i uppgifter med multimodala ingångar (t.ex. svar på audiovisuella frågor) eller förstärkningsinlärning, allt utan arkitektoniska förändringar eller omskolning. Vi kombinerar Grad-CAM med befintliga finkorniga visualiseringar för att skapa en högupplöst klass-dicriminativ visualisering, guidad Grad-CAM, och tillämpa den på bildklassificering, bildtextning och visuella frågesvarsmodeller (VQA), inklusive ResNet-baserade arkitekturer. I samband med bildklassificeringsmodeller ger våra visualiseringar (a) insikter i fellägen hos dessa modeller (som visar att till synes orimliga förutsägelser har rimliga förklaringar), (b) överträffar tidigare metoder på ILSVRC-15 svagt övervakade lokaliseringsuppgift, (c) är robusta för kontrarimala störningar, (d) är mer trogna den underliggande modellen, och (e) bidra till att uppnå modell generalisering genom att identifiera datauppsättningsfördomar. För bildtextning och VQA visar våra visualiseringar att även icke-attention baserade modeller lär sig att lokalisera discriminativa regioner av indatabild. Vi utformar ett sätt att identifiera viktiga neuroner genom Grad-CAM och kombinera det med neuronnamn (Bau et al. i Datorseende och mönsterigenkänning, 2017) för att ge textförklarande förklaringar till modellbeslut. Slutligen utformar och genomför vi mänskliga studier för att mäta om Grad-CAM-förklaringar hjälper användare att skapa ett lämpligt förtroende för förutsägelser från djupa nätverk och visar att Grad-CAM hjälper otränade användare att framgångsrikt urskilja ett "starkare" djupt nätverk från ett "svagare" även när båda gör identiska förutsägelser. Vår kod finns tillgänglig på https:// github.com/ramprs/grad-cam/, tillsammans med en demo på CloudCV (Agrawal et al., i: Mobile cloud visual media computing, pp 265-290). Springer, 2015) (http://gradcam.cloudcv.org) och en video på http://youtu.be/COjUB9Izk6E.
GradCAM REF använder gradienterna i ett målkoncept, som bara flyter in i det slutliga konvolutionslagret för att producera en grov lokaliseringskarta.
Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}