Abstract-djupa neurala nätverk (DNN) har visat imponerande prestanda i komplexa maskininlärning uppgifter såsom bildklassificering eller taligenkänning. På grund av sin ickelinjära flerskiktsstruktur är de dock inte transparenta, dvs. det är svårt att förstå vad som får dem att komma fram till ett särskilt klassificerings- eller erkännandebeslut, med tanke på ett nytt osebart dataprov. På senare tid har flera metoder föreslagits som gör det möjligt att förstå och tolka resonemanget i en DNN för en enda testbild. Dessa metoder kvantifierar "vikten" av enskilda pixlar med avseende på klassificeringsbeslutet och tillåter en visualisering i termer av en värmekarta i pixel/inmatningsutrymme. Medan nyttan av värmekartor kan bedömas subjektivt av en människa, saknas en objektiv kvalitetsmått. I denna uppsats presenterar vi en allmän metod baserad på regional perturbation för att utvärdera beställda samlingar av pixlar såsom värmekartor. Vi jämför värmekartor som beräknas av tre olika metoder på SUN397, ILSVRC2012, och MIT Places datamängder. Vårt huvudsakliga resultat är att den nyligen föreslagna skiktvis relevanta förökningsalgoritmen kvalitativt och kvantitativt ger en bättre förklaring till vad som fick en DNN att komma fram till ett särskilt klassificeringsbeslut än den känslighetsbaserade metoden eller dekonvolutionsmetoden. Vi ger teoretiska argument för att förklara detta resultat och diskutera dess praktiska konsekvenser. Slutligen undersöker vi användningen av värmekartor för oövervakad bedömning av neurala nätverk prestanda.
REF ) presenterar en metod baserad på region perturbation för att utvärdera beställda samlingar av pixlar.
Evaluating the Visualization of What a Deep Neural Network Has Learned
{'venue': 'IEEE Transactions on Neural Networks and Learning Systems', 'journal': 'IEEE Transactions on Neural Networks and Learning Systems', 'mag_field_of_study': ['Computer Science', 'Medicine']}