Tolkningen av djupinlärningsmodeller är en utmaning på grund av deras storlek, komplexitet och ofta ogenomskinliga inre tillstånd. Dessutom fungerar många system, t.ex. bildsorterare, på lågnivåfunktioner snarare än på högnivåkoncept. För att ta itu med dessa utmaningar introducerar vi Concept Activation Vectors (CAVs), som ger en tolkning av ett neuralt näts inre tillstånd i termer av mänskliga-vänliga begrepp. Den viktigaste idén är att betrakta det högdimensionella inre tillståndet i ett neuralt nät som en hjälp, inte ett hinder. Vi visar hur man använder CAV som en del av en teknik, Testing with CAVs (TCAV), som använder riktningsderivat för att kvantifiera i vilken grad ett användardefinierat koncept är viktigt för en klassificering resultat-till exempel, hur känslig en förutsägelse av zebra är för närvaron av ränder. Med hjälp av domänen bildklassificering som testplats beskriver vi hur CAV kan användas för att utforska hypoteser och skapa insikter för ett standardnätverk för bildklassificering samt en medicinsk applikation.
TCAV-tekniken, som föreslås av REF, syftar till att generera förklaringar baserade på användardefinierade koncept på hög nivå.
Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)
{'venue': 'ICML 2018', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}