Stora framsteg på senare tid när det gäller problem med vision till språk (V2L) har gjorts genom en kombination av konvolutionella neurala nätverk (CNN) och recurrent neurala nätverk (RNN). Detta tillvägagångssätt representerar inte explicit semantiska koncept på hög nivå, utan syftar snarare till att gå direkt från bildfunktioner till text. I detta dokument undersöker vi om detta direkta tillvägagångssätt lyckas på grund av, eller trots, det faktum att det undviker en uttrycklig representation av information på hög nivå. Vi föreslår en metod för att införliva koncept på hög nivå i den framgångsrika CNN-RNN-metoden, och visar att den uppnår en betydande förbättring av den senaste tekniken i både bildtextning och visuellt svar på frågor. Vi visar också att samma mekanism kan användas för att införa extern semantisk information och att detta ytterligare förbättrar prestandan. Vi uppnår de bästa rapporterade resultaten på både bildtextning och VQA på flera referensdatauppsättningar, och ger en analys av värdet av explicita högnivåkoncept i V2L-problem.
REF presenterar en grundlig studie av hur högnivåkoncepten kan gynna bildtextning och visuella frågor som svarar på uppgifter.
What Value Do Explicit High Level Concepts Have in Vision to Language Problems?
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}