Abstract-Much av de senaste framstegen i Vision-to-Språk problem har uppnåtts genom en kombination av Convolutional Neural Networks (CNN) och Recurrent Neural Networks (RNN). Detta tillvägagångssätt representerar inte explicit semantiska koncept på hög nivå, utan syftar snarare till att gå direkt från bildfunktioner till text. I detta dokument föreslår vi först en metod för att införliva koncept på hög nivå i den framgångsrika CNN-RNN-metoden, och visar att den leder till en betydande förbättring av den senaste tekniken när det gäller både bildtext och visuellt svar på frågor. Vi visar vidare att samma mekanism kan användas för att införliva extern kunskap, vilket är mycket viktigt för att besvara visuella frågor på hög nivå. Speciellt designar vi en visuell frågesvarsmodell som kombinerar en intern representation av innehållet i en bild med information som hämtats från en allmän kunskapsbas för att svara på ett brett spektrum av bildbaserade frågor. Det gör det särskilt möjligt att ställa frågor där enbart bilden inte innehåller den information som krävs för att välja rätt svar. Vår slutliga modell uppnår de bästa rapporterade resultaten för både bildtextning och visuellt svar på flera av de viktigaste referensdataseten.
Wu och Al. Ref införlivade högnivåkoncept som extern kunskap i den framgångsrika CNN-RNN-metoden för bildtextning och visuellt svar på frågor.
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}