I detta dokument föreslår vi att använda det konvolutionella neurala nätverket (CNN) för att lära sig att svara på frågor från bilden. Vår föreslagna CNN ger en end-to-end ram för att lära sig inte bara bildrepresentationen, sammansättningen modell för frågor, men också den intermodala interaktionen mellan bilden och frågan, för generering av svar. Mer specifikt består den föreslagna modellen av tre komponenter: en bild CNN för att extrahera bildrepresentationen, en mening CNN för att koda frågan, och ett multimodalt konvolutionsskikt för att sammansmälta den multimodala inmatningen av bilden och frågan för att få den gemensamma representationen för klassificeringen i utrymmet för kandidatsvaret ord. Vi demonstrerar effektiviteten av vår föreslagna modell på DAQUAR och COCO-QA datauppsättningar, två datauppsättningar som nyligen skapats för bildfrågan svar (QA), med prestanda som avsevärt överträffar state-of-the-arts.
Mamma och Al. i REF ta en intressant strategi och använda tre konvolutionella neurala nätverk för att representera inte bara bilden, men också frågan, och deras gemensamma representation i ett multimodalt utrymme.
Learning to Answer Questions From Image using Convolutional Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}