Hur kan vi förklara förutsägelserna om en svart låda modell? I denna uppsats använder vi influensfunktioner - en klassisk teknik från robust statistik - för att spåra en modells förutsägelse genom inlärningsalgoritmen och tillbaka till dess träningsdata och därmed identifiera utbildningspunkter som är mest ansvariga för en given förutsägelse. För att skala upp påverkan funktioner till moderna maskininlärningsinställningar, utvecklar vi en enkel, effektiv implementation som kräver endast oracle tillgång till gradienter och hessiska-vektor produkter. Vi visar att även på icke-konvexa och icke-differentierbara modeller där teorin bryts ner kan approximationer för att påverka funktioner fortfarande ge värdefull information. På linjära modeller och konvolutionella neurala nätverk, visar vi att influensfunktioner är användbara för flera ändamål: att förstå modellbeteende, debugging modeller, upptäcka dataset fel, och även skapa visuellt oskiljaktiga tränings-set attacker.
Slutligen kan påverka funktioner från robust statistik användas för att spåra en viss förutsägelse tillbaka till utbildningsdata som är ansvariga för det REF.
Understanding Black-box Predictions via Influence Functions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}