Abstrakt. Att tydligt förklara en motivering för ett klassificeringsbeslut för en slutanvändare kan vara lika viktigt som själva beslutet. Befintliga metoder för djup visuell igenkänning är i allmänhet ogenomskinliga och ger inte ut någon motiveringstext; moderna synspråksmodeller kan beskriva bildinnehåll men inte ta hänsyn till klass-diskriminativa bildaspekter som motiverar visuella förutsägelser. Vi föreslår en ny modell som fokuserar på de diskriminerande egenskaperna hos det synliga objektet, tillsammans förutspår en klassetikett, och förklarar varför den förutsedda etiketten är lämplig för bilden. Vi föreslår en ny förlustfunktion baserad på provtagning och förstärkning lärande som lär sig att generera meningar som förverkligar en global mening egendom, såsom klass specificitet. Våra resultat på en finkornig fågelart klassificeringsdata visar att vår modell kan generera förklaringar som inte bara överensstämmer med en bild utan också mer diskriminerande än beskrivningar som produceras genom befintliga bildtextmetoder.
Nyligen föreslog Ref en djupgående modell för att skapa naturliga språkmotiveringar för en finkornig objektklassificering.
Generating Visual Explanations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}