Trots framsteg i perceptuella uppgifter som bildklassificering, datorer fortfarande dåligt utför kognitiva uppgifter såsom bildbeskrivning och frågesvar. Kognition är kärnan i uppgifter som innebär att inte bara erkänna, men resonemang om vår visuella värld. Modeller som används för att hantera det rika innehållet i bilder för kognitiva uppgifter tränas dock fortfarande med hjälp av samma datauppsättningar som är utformade för perceptuella uppgifter. För att uppnå framgång vid kognitiva uppgifter måste modellerna förstå interaktionen och relationen mellan objekt i en bild. När man frågade: "Vilket fordon är den som rider?", datorer måste identifiera föremålen i en bild samt förhållanden ridning(man, vagn) och dra (häst, vagn) för att korrekt svara att "personen rider en häst dragen vagn." I detta dokument presenterar vi Visual Genome dataset för att möjliggöra modellering av sådana relationer. Vi samlar täta annoteringar av objekt, attribut och relationer inom varje bild för att lära sig dessa modeller. Specifikt innehåller vårt dataset över 108K bilder där varje bild har i genomsnitt 35 objekt, 26 attribut och 21 parvisa relationer mellan objekt. Vi kanonicalize objekt, attribut, relationer, och substantiv fraser i regionbeskrivningar och frågor svarar par till Word-Net synsets. Tillsammans representerar dessa kommentarer de tätaste Kommunicerade av och största datauppsättningen av bildbeskrivningar, objekt, attribut, relationer och frågesvar par.
Till viss del är detta liknande med förståelse för interaktioner och relationer mellan objekt eller begrepp i naturliga bilder REF.
Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}