Saliency metoder har vuxit fram som ett populärt verktyg för att belysa funktioner i en insats som bedöms relevant för förutsägelsen av en inlärd modell. Flera soliditetsmetoder har föreslagits, ofta guidade av visuell dragningskraft på bilddata. I detta arbete föreslår vi en genomförbar metod för att utvärdera vilka typer av förklaringar en viss metod kan och inte kan ge. Vi anser att enbart tillit till visuell bedömning kan vara vilseledande. Genom omfattande experiment visar vi att vissa befintliga soliditetsmetoder är oberoende både av modellen och av datagenereringsprocessen. Metoder som inte uppfyller de föreslagna testerna är därför otillräckliga för uppgifter som är känsliga för antingen data eller modell, såsom att hitta avvikande data, förklara sambandet mellan indata och utdata som modellen lärt sig, och debugging modellen. Vi tolkar våra resultat genom en analogi med kantdetektering i bilder, en teknik som varken kräver träningsdata eller modell. Teori i fallet med en linjär modell och en enskikts konvolutionella neurala nätverk stöder våra experimentella resultat 2.
För det första är, som det förklaras i Ref, "vissa allmänt använda soliditetsmetoder oberoende av både de data som modellen har utbildats på och modellparametrarna", vilket är klart oönskat.
Sanity Checks for Saliency Maps
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}