Djupa neurala nätverk har visat slående framsteg och uppnått toppmoderna resultat inom många AI-forskningsområden under de senaste åren. Men det är ofta otillfredsställande att inte veta varför de förutsäger vad de gör. I den här artikeln tar vi upp problemet med tolkning av Visual Question Answering (VQA) modeller. Vi är särskilt intresserade av att hitta vilken del av inmatningen (pixlar i bilder eller ord i frågor) VQA-modellen fokuserar på när du svarar på frågan. För att ta itu med detta problem använder vi oss av två visualiseringstekniker - styrd backpropagation och ocklusion - för att hitta viktiga ord i frågan och viktiga regioner i bilden. Därefter presenterar vi kvalitativa och kvantitativa analyser av dessa viktiga kartor. Vi fann att även utan explicita uppmärksamhetsmekanismer kan VQA-modeller ibland underförstått ägna sig åt relevanta regioner i bilden, och ofta till lämpliga ord i frågan.
REF ) använde en gradientbaserad metod för att tolka visuella frågesvarsmodeller.
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}