Detta papper presenterar en ram för lokalisering eller grundläggning av fraser i bilder med hjälp av en stor samling språkliga och visuella ledtrådar. 1 Vi modellerar utseende, storlek och position av enhet avgränsande rutor, adjektiv som innehåller attribut information, och rumsliga relationer mellan par av enheter som är anslutna med verb eller prepositioner. Vi ägnar särskild uppmärksamhet åt relationer mellan människor och kläder eller kroppsdel nämner, eftersom de är användbara för att skilja individer. Vi lär oss automatiskt vikter för att kombinera dessa signaler och vid testtid, utföra gemensam slutledning över alla fraser i en bildtext. Det resulterande systemet ger en 5% förbättring i noggrannhet över den senaste tekniken på fras lokalisering på Flickr30k enheter dataset [25] och en 4-10% förbättring för visuell relation upptäckt på Stanford VRD dataset [20].
Plummer m.fl. konstruerade en stor samling handgjorda språkliga och visuella signaler för visuell relation detektering och konstruerade en pipeline för att lära sig vikterna för att kombinera dem REF.
Phrase Localization and Visual Relationship Detection with Comprehensive Linguistic Cues.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}