Visual Question svar är ett utmanande problem som kräver en kombination av begrepp från Computer Vision och Natural Language Processing. De flesta befintliga metoder använder en två strömmar strategi, datorbild och frågetecken som följaktligen slås samman med hjälp av en mängd olika tekniker. Ändå är det mycket få som förlitar sig på bildrepresentationer på högre nivå, som kan fånga semantiska och rumsliga relationer. I detta dokument föreslår vi en ny grafbaserad metod för visuellt svar på frågor. Vår metod kombinerar en grafinlärarmodul, som lär sig en fråga specifik graf representation av indatabilden, med den senaste idén om grafkonvolutioner, syftar till att lära bildrepresentationer som fångar frågor specifika interaktioner. Vi testar vår strategi på VQA v2-datasetet med hjälp av en enkel baslinjearkitektur som förstärks av den föreslagna grafinlärarmodulen. Vi får lovande resultat med 66,18 % noggrannhet och visar att den föreslagna metoden är tolkningsbar. Kod finns på github.com/aimbrain/vqa-projekt.
REF tillämpade ett diagramkonvolutionsnätverk för att få den frågespecifika grafrepresentationen och interaktionen i bilder.
Learning Conditioned Graph Structures for Interpretable Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}