Detta dokument presenterar en metod för att förklara hur indata kastas genom mellanliggande lager av ett neuralt nätverk under framåtutbredningen, för att kvantifiera och diagnostisera kunskaps representationer av förtränade djupa neurala nätverk. Vi definierar två typer av entropibaserade mått, dvs. Den strikta information som kastas överbord och osäkerheten om återuppbyggnaden, som mäter indata från ett visst skikt ur två perspektiv. Vi utvecklar en metod för att möjliggöra effektiv beräkning av sådana entropibaserade mätvärden. Vår metod kan i stort tillämpas på olika neurala nätverk och möjliggöra omfattande jämförelser mellan olika lager av olika nätverk. Preliminära experiment har visat våra mätvärdens effektivitet när det gäller att analysera referensnätverk och förklara befintliga djupinlärningsmetoder. Koden kommer att släppas när papperet accepteras.
REF presenterade en metod för att kvantifiera den skiktvisa information som kasserade DNN och definierade två modell-agnostiska och uppgiftsagnostiska mätvärden för indata.
Quantifying Layerwise Information Discarding of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}