Djupa neurala nätverk används alltmer för att automatisera dataanalys och beslutsfattande, men deras beslutsprocess är i stort sett oklar och är svårt att förklara för slutanvändarna. I detta papper, vi tar itu med problemet med Förklarande AI för djupa neurala nätverk som tar bilder som ingång och utdata en klass sannolikhet. Vi föreslår ett tillvägagångssätt kallat RISE som genererar en viktig karta som visar hur framträdande varje pixel är för modellens förutsägelse. I motsats till white-box tillvägagångssätt som uppskattar pixel betydelse med hjälp av gradienter eller andra interna nätverk tillstånd, RISE fungerar på blackbox modeller. Den uppskattar betydelsen empiriskt genom att undersöka modellen med slumpmässigt maskerade versioner av indatabilden och få motsvarande utgångar. Vi jämför vårt tillvägagångssätt med toppmoderna extraktionsmetoder med hjälp av både automatisk radering/insättningsmått och ett riktmått baserat på människoannoterade objektsegment. Omfattande experiment på flera referensdataset visar att vårt tillvägagångssätt matchar eller överträffar andra metoders prestanda, inklusive white-box-metoder.
Som en förbättring jämfört med LIME föreslogs RISE-modellen REF för att generera en viktkarta som visar hur framträdande varje pixel är för modellens förutsägelse.
RISE: Randomized Input Sampling for Explanation of Black-box Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}