I det här dokumentet introducerar vi problemet med visuell semantisk rollmärkning: med en bild vill vi upptäcka människor som gör handlingar och lokalisera objekten för interaktion. Klassiska tillvägagångssätt för åtgärdsigenkänning antingen studera uppgiften att åtgärdsklassificering på bild- eller videoklippsnivå eller i bästa fall producera en avgränsande ruta runt personen som gör åtgärden. Vi anser att ett sådant resultat är otillräckligt och en fullständig förståelse kan bara komma när vi kan associera objekt i scenen till de olika semantiska rollerna i handlingen. För att möjliggöra framsteg mot detta mål, vi kommentera en datauppsättning av 16K-personer instanser i 10K-bilder med åtgärder de gör och associera objekt i scenen med olika semantiska roller för varje åtgärd. Slutligen tillhandahåller vi en uppsättning basalalgoritmer för denna uppgift och analyserar fellägen som ger anvisningar för framtida arbete.
Human-Object Interaktion Detection: Gupta och Malik REF var de första som introducerade problemet med visuell semantisk rollmärkning.
Visual Semantic Role Labeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}