Många nuvarande metoder för att tolka konvolutionella neurala nätverk (CNNs) använder visualisering tekniker och ord för att belysa begrepp av indata till synes relevant för en CNN beslut. Metoderna antar att erkännandet av dessa begrepp är avgörande i det beslut som ett CNN når, men karaktären av detta förhållande har inte undersökts väl. För att komma till rätta med denna brist undersöks i detta dokument kvaliteten på ett begrepps erkännande av ett CNN och i vilken utsträckning erkännandena är kopplade till CNN-beslut. Studien omfattar ett CNN som är utbildat för scenigenkänning över datasetet ADE20k. Den använder en ny metod för att hitta och poängsätta styrkan hos minimalt distribuerade representationer av inmatningskoncept (definierade av objekt i scenbilder) över sen scenfunktionskartor. Efterföljande analys visar att begreppet erkännande påverkar beslutsfattandet. Starkt erkännande av begrepp som ofta förekommer i få scener tyder på korrekta beslut, men att erkänna begrepp som är gemensamma för många scener kan vilseleda nätverket.
Den metod som rapporteras i REF, syftar till att relatera mänskliga förståeliga begrepp till nätverksutgångar, genom att använda en dekonvolution och maskering-baserad teknik för att hitta och poängsätta styrkan i distribuerade representationer av inmatningskoncept över sent skede funktionskartor.
Relating Input Concepts to Convolutional Neural Network Decisions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}