Vi föreslår en metod för visuellt besvarande av frågor som kombinerar en intern representation av innehållet i en bild med information som hämtats från en allmän kunskapsbas för att besvara ett brett spektrum av bildbaserade frågor. Detta gör det möjligt att besvara mer komplexa frågor med hjälp av den dominerande neurala nätverksbaserade metoden än vad som tidigare varit möjligt. Det gör det särskilt möjligt att ställa frågor om innehållet i en bild, även när själva bilden inte innehåller hela svaret. Metoden konstruerar en textrepresentation av det semantiska innehållet i en bild, och förenar den med textinformation som hämtas från en kunskapsbas, för att utveckla en djupare förståelse av den sedda scenen. Priming en återkommande neurala nätverk med denna kombinerade information, och den inlämnade frågan, leder till en mycket flexibel visuell fråga svar tillvägagångssätt. Vi kan särskilt besvara frågor som ställs på naturligt språk, som hänvisar till information som inte finns i bilden. Vi visar hur effektiv vår modell är på två allmänt tillgängliga dataset, Toronto COCO-QA [23] och VQA [1] och visar att den ger de bästa rapporterade resultaten i båda fallen.
På området visuell fråga som besvarar REF
Ask Me Anything: Free-Form Visual Question Answering Based on Knowledge from External Sources
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}